Le paradoxe de Simpson

 (en.wikipedia.org)
3 points par GN⁺ 2024-03-13 | 1 commentaires | Partager sur WhatsApp
  • Le paradoxe de Simpson est un phénomène de probabilité et de statistique dans lequel une tendance visible dans des sous-groupes disparaît ou s’inverse lorsque les données sont agrégées, ce qui peut fortement fausser le jugement si l’on ne regarde que les données globales
  • Interpréter directement des données de fréquence comme un lien causal fait facilement passer à côté de variables de confusion, ce qui pose un problème particulièrement important en sciences sociales et en statistique médicale
  • Les cas des admissions en troisième cycle à l’UC Berkeley, des traitements des calculs rénaux et de la moyenne au bâton en baseball professionnel montrent que la comparaison par sous-groupes et la comparaison sur l’ensemble agrégé peuvent mener à des conclusions différentes
  • L’inversion des proportions peut aussi s’expliquer dans une perspective vectorielle, et la limite essentielle est qu’il est difficile de décider, à partir d’un simple tableau, s’il faut scinder ou regrouper les données
  • Une interprétation correcte exige des modèles causaux comme le back-door criterion de Pearl et le do-calculus, et la compréhension du processus de génération des données est plus importante qu’une simple agrégation

Phénomène et nom

  • Le paradoxe de Simpson est un phénomène dans lequel une tendance observée dans plusieurs groupes de données disparaît ou s’inverse quand on regroupe ces groupes
  • Il est particulièrement dangereux lorsqu’on attribue une interprétation causale excessive à des données de fréquence, et il faut traiter correctement les variables de confusion et les relations causales dans la modélisation statistique
  • Il sert d’exemple classique montrant comment un mauvais usage des statistiques peut produire des conclusions erronées
  • Edward H. Simpson a décrit ce phénomène dans un article technique en 1951, tandis que Karl Pearson en 1899 et Udny Yule en 1903 avaient déjà mentionné des effets similaires
  • Le nom Simpson's paradox a été introduit par Colin R. Blyth en 1972
  • On le désigne aussi sous les noms Simpson's reversal, Yule–Simpson effect, amalgamation paradox et reversal paradox

Cas des admissions en troisième cycle à l’UC Berkeley

  • Dans les données d’admission en troisième cycle de l’University of California, Berkeley, à l’automne 1973, les candidats masculins avaient, sur l’ensemble agrégé, une probabilité d’admission plus élevée que les candidates, et l’écart était trop important pour être attribué au hasard
    • Sur 12 763 candidats au total, le taux d’admission était de 41 %
    • Pour les 8 442 hommes, le taux d’admission était de 44 %
    • Pour les 4 321 femmes, le taux d’admission était de 35 %
  • Lorsqu’on tient compte des informations par département, on observe une configuration différente de celle suggérée par l’agrégation globale
    • Les femmes avaient tendance à candidater davantage dans des départements plus compétitifs, où les taux d’admission étaient plus faibles
    • Les hommes avaient tendance à candidater davantage dans des départements moins compétitifs, où les taux d’admission étaient plus élevés
  • Les données agrégées comme les données ajustées montraient un biais faible mais statistiquement significatif en faveur des femmes
  • Sur les 85 départements au total, 4 présentaient un biais significatif défavorable aux femmes, et 6 un biais significatif défavorable aux hommes
  • La conclusion ne reposait pas sur le nombre de départements biaisés en lui-même, mais sur les résultats d’admission par sexe agrégés sur l’ensemble des départements, pondérés par le taux de rejet de chaque département rapporté à l’ensemble des candidats

Cas des traitements des calculs rénaux

  • Le paradoxe de Simpson apparaît dans une étude médicale réelle comparant les taux de réussite des traitements A et B pour les calculs rénaux
    • Treatment A comprend une procédure de chirurgie ouverte
    • Treatment B comprend une procédure de chirurgie fermée
  • Par taille de calcul, Treatment A affiche un meilleur taux de réussite
    • Petits calculs : A à 93 % (81/87), B à 87 % (234/270)
    • Gros calculs : A à 73 % (192/263), B à 69 % (55/80)
  • Mais si l’on regroupe les tailles de calcul, Treatment B affiche un meilleur taux de réussite
    • Total : A à 78 % (273/350), B à 83 % (289/350)
  • Cette inversion survient parce que le choix du traitement et la difficulté des cas agissent conjointement
    • Les médecins avaient tendance à appliquer davantage le meilleur Treatment A aux gros calculs, et le Treatment B, relativement inférieur, aux petits calculs
    • La taille des calculs influençant fortement le taux de réussite, la gravité des cas pèse davantage sur la proportion globale que le choix du traitement
  • Si le Treatment B, moins efficace, semble plus performant, c’est parce qu’il a été appliqué plus souvent à des cas de petits calculs plus faciles à traiter
  • Jaynes estime que Treatment A est nettement meilleur que Treatment B, mais que la taille des calculs rénaux est une variable plus importante encore

Cas de la moyenne au bâton en baseball professionnel

  • Le paradoxe de Simpson peut aussi apparaître dans la moyenne au bâton de joueurs de baseball professionnel
  • Un joueur peut afficher, sur plusieurs années prises séparément, une meilleure moyenne au bâton qu’un autre, tout en ayant une moyenne plus faible une fois toutes les années réunies
  • Ken Ross l’a illustré en 1995 et 1996 avec les moyennes au bâton de Derek Jeter et David Justice
    • 1995 : Jeter 12/48, .250 ; Justice 104/411, .253
    • 1996 : Jeter 183/582, .314 ; Justice 45/140, .321
    • Total : Jeter 195/630, .310 ; Justice 149/551, .270
  • Justice avait une meilleure moyenne au bâton que Jeter sur chacune des deux années, mais en cumulant les deux saisons, c’est Jeter qui affiche la meilleure moyenne
  • Selon Ross, ce phénomène pourrait être observé environ une fois par an parmi les paires de joueurs possibles

L’inversion des proportions vue comme des vecteurs

  • Le paradoxe de Simpson peut aussi s’expliquer dans un espace vectoriel à deux dimensions
  • Un taux de réussite p/q, c’est-à-dire succès/tentatives, peut être représenté par un vecteur de pente p/q
  • La combinaison de deux proportions peut être exprimée comme une somme de vecteurs selon la règle du parallélogramme, et la pente de cette somme correspond alors au taux de réussite combiné
  • Dans une comparaison individuelle, la pente d’un vecteur peut être inférieure à celle d’un autre, alors que la pente résultant de la somme des deux vecteurs peut au contraire devenir supérieure
  • Pour qu’une telle inversion se produise, une partie d’un vecteur doit avoir une pente plus forte qu’une partie de l’autre, et ces vecteurs sont généralement plus longs, ce qui domine la comparaison globale

Corrélation et interprétation causale

  • L’inversion de Simpson peut aussi se produire dans une corrélation
  • Deux variables peuvent présenter globalement une corrélation positive, alors qu’en tenant compte d’une variable de confusion cachée, elles ont en réalité une corrélation négative
  • Dans un exemple économique, les seules données agrégées faisaient apparaître la demande comme positivement corrélée au prix, mais lorsqu’on tenait compte de la variable temps, on retrouvait la corrélation négative attendue sur plusieurs périodes
  • Si l’on ignore l’effet du temps et que l’on trace seulement la demande et le prix, la corrélation s’inverse et devient positive
  • Le paradoxe de Simpson montre que l’intuition selon laquelle une inversion de signe serait impossible ne découle pas de la seule logique classique ou du seul calcul des probabilités
  • Une forme limitée du sure-thing principle de Savage peut être dérivée du do-calculus de Pearl
    • Si une action A augmente, dans chaque sous-groupe, la probabilité de l’événement B, alors cette action doit aussi augmenter la probabilité de B dans l’ensemble de la population, à condition qu’elle ne modifie pas la distribution des sous-groupes
  • Pavlides et Perlman ont présenté une preuve montrant que, dans un tableau aléatoire 2 × 2 × 2 suivant une distribution uniforme, le paradoxe de Simpson se produit avec une probabilité exacte de 1/60
  • Dans l’étude de Kock, la probabilité que le paradoxe de Simpson apparaisse aléatoirement dans un modèle de chemin avec deux variables prédictives et une variable critère est d’environ 12.8%, soit un peu plus d’une fois pour 8 modèles de chemin

Le second paradoxe de Simpson et les graphes causaux

  • L’article de Simpson de 1951 contient aussi un second paradoxe, moins connu
  • Dans ce cas, contrairement à l’exemple des calculs rénaux, les données séparées n’ont pas toujours l’interprétation la plus raisonnable, et ce peuvent être les données agrégées qui donnent la bonne lecture
  • Le choix entre données segmentées et données combinées dépend du processus qui a généré les données
  • On ne peut donc pas toujours déterminer la bonne interprétation par la seule observation d’un tableau
  • Judea Pearl a montré que, pour que les données segmentées représentent correctement la relation causale entre X et Y, la variable de segmentation doit satisfaire une condition graphique appelée back-door criterion
    • Elle doit bloquer tous les faux chemins entre X et Y
    • Aucune variable de segmentation ne doit être affectée par X
  • Ce critère fournit une solution algorithmique au second paradoxe de Simpson et explique que des graphes différents, compatibles avec les mêmes données, puissent exiger des back-door criteria différents
  • Si l’ensemble de covariables Z satisfait le back-door criterion, alors la formule d’ajustement donne le bon effet causal de X sur Y
  • S’il n’existe pas d’ensemble de ce type, on peut chercher d’autres méthodes pour estimer l’effet causal à l’aide du do-calculus de Pearl
  • La complétude du do-calculus peut être considérée comme une résolution complète du paradoxe de Simpson

Critiques et implications pratiques

  • Une critique consiste à dire que le paradoxe de Simpson n’est pas un véritable paradoxe, mais le résultat d’une prise en compte insuffisante des variables de confusion ou d’une absence de réflexion sur les relations causales entre variables
  • Se focaliser sur le paradoxe lui-même peut détourner l’attention de problèmes statistiques plus importants
  • Une autre critique souligne qu’un paradoxe de Simpson apparent peut être le produit de la manière dont les données sont stratifiées ou regroupées
  • En stratifiant autrement les données ou en tenant compte d’autres variables de confusion, le phénomène peut disparaître ou s’inverser à nouveau
  • L’exemple de Simpson met en avant le phénomène de noncollapsibility, dans lequel des proportions élevées dans les sous-groupes ne deviennent pas une simple moyenne une fois agrégées
  • Malgré cela, le paradoxe de Simpson reste un sujet continuellement étudié et discuté en statistique et en analyse de données, comme exemple des pièges d’une interprétation trop simple des données

À lire aussi

1 commentaires

 
GN⁺ 2024-03-13
Commentaires sur Hacker News

  • J’ai réellement rencontré ce cas il y a longtemps, quand je travaillais comme analyste de données chez The Hut Group
    L’équipe marketing disait que, tout au long de l’année, le ratio des dépenses marketing par rapport au chiffre d’affaires avait baissé dans toutes les gammes de produits, mais en fin d’année la direction a été surprise de voir que le coût total des ventes était presque passé du simple au double, de 10 % à près de 20 %
    À la demande de l’équipe finance, j’ai vérifié : les chiffres du marketing étaient corrects, et les ratios de dépenses marketing des gammes jeux, beauté et nutrition avaient tous baissé, respectivement d’environ 15 %→10 %, 30 %→25 % et 50 %→30 %
    Sauf que le mix produit avait fortement changé : la gamme nutrition était passée d’environ 10 % du chiffre d’affaires total à près de 50 %, et comme la catégorie au ratio de coûts le plus élevé avait grossi, le ratio global des dépenses marketing avait augmenté
    Au final, l’efficacité des ventes s’était améliorée dans chaque catégorie, mais l’indicateur global s’était dégradé, et je me suis retrouvé avec la tâche amusante d’expliquer le paradoxe de Yule-Simpson aux comptables

    • Presque tous les jeux de données que l’on manipule en SRE sont remplis de ce genre de paradoxe
      Un cas célèbre chez Google : un ingénieur réseau s’est rendu quelque part comme en Indonésie, a constaté que le service était lent, et quand il a posé la question, tout le monde a répondu que « ça avait toujours été comme ça »
      Les réseaux mobiles locaux étaient lents et les liaisons fibre sortant des îles étaient saturées ; de retour au siège, il a donc réalisé une optimisation pour réduire la taille des payloads, divisé par deux la taille des téléchargements et déployé le changement, mais la latence moyenne et p95 a au contraire augmenté
      Si un changement objectivement positif paraissait mauvais, c’est parce que les utilisateurs pour lesquels le service s’était fortement amélioré se sont mis à l’utiliser beaucoup plus
      Même si la charge en bande passante avait diminué, la latence réseau jusqu’au datacenter restait plus élevée que pour les utilisateurs américains, et le fait d’utiliser davantage un service « moins horrible » a tiré les métriques globales vers le haut
      Il y a beaucoup de cas où l’on tire de mauvaises conclusions en ne regardant qu’une tranche particulière de la télémétrie des requêtes, sans modéliser suffisamment l’ensemble du système, ou en contrôlant les mauvaises variables
      Le pire, c’est le renvoi de responsabilité circulaire créé par le paradoxe de Simpson : les développeurs de l’app accusent une régression serveur, l’équipe serveur accuse l’équipe app, etc., et cela peut aussi arriver simplement parce que les calendriers de release du serveur et de l’app coïncident par hasard de façon trop parfaite
    • En pratique, c’est assez courant
      On peut même l’observer dans des jeux de données « classiques » de démonstration comme Iris : https://github.com/DataForScience/Causality/blob/master/1.2%...
    • Chaque fois que j’entends un exemple réel du paradoxe de Simpson, je ne sais pas trop quelle leçon il faut en tirer
      Est-ce que cela signifie que l’équipe marketing a trop optimisé et fait baisser la demande pour les produits hors nutrition, que si l’on sort la nutrition de la gamme alors l’efficacité des produits individuels et l’efficacité globale s’améliorent toutes les deux, ou bien que ce type d’indicateur est insuffisant et qu’il faut regarder les variations absolues plutôt que les ratios ? Je ne vois pas bien
    • Je pensais qu’appliquer des modèles linéaires mixtes/hiérarchiques était assez courant
      Je ne suis pas statisticien de formation, mais dans les domaines qui modélisent des effets biologiques, on aborde souvent ce genre de problème ainsi
      Exemple : https://www.pymc.io/projects/examples/en/latest/generalized_...
    • Je suis surpris que la diapo du rapport n’ait pas inclus le changement de mix produit
      Cela dit, le marketing a tendance à choisir le positif plutôt que l’objectivité, et à ne retenir que les faits qui soutiennent ce qu’il a fait

  • La citation de Jordan Ellenberg est vraiment excellente

    Le mathématicien Jordan Ellenberg estime que le nom de paradoxe de Simpson est mal choisi. « Il n’y a pas de contradiction ; il y a simplement deux façons différentes de penser les mêmes données », et la leçon à en tirer n’est pas « de nous dire quel point de vue adopter, mais de nous demander de garder simultanément à l’esprit les parties et le tout »
    C’est grâce à cette attitude consistant à garder plusieurs possibilités en tête à la fois que les épicuriens sont arrivés aux idées de survie du plus apte, d’hérédité des traits provenant des deux parents, de lumière composée d’unités discrètes extrêmement légères et se déplaçant extrêmement vite, et de l’idée selon laquelle, pour que le libre arbitre existe, les quanta constituant la matière doivent pouvoir avoir plusieurs issues possibles sous les mêmes lois physiques et dans les mêmes conditions
    C’était des milliers d’années avant que la méthode scientifique ne retrouve indépendamment les mêmes résultats, et c’est aussi une excellente méthode d’analyse, en particulier pour l’analyse de données dont il est question ici

    • J’ai l’impression qu’il y a une légère incompréhension du sens du mot « paradoxe »
      On appelle cela un paradoxe parce que cela va contre l’intuition initiale et semble contradictoire, pas parce que cela doit nécessairement être une vraie contradiction
      En fait, la plupart des paradoxes nommés ont de fortes chances de se révéler ne pas être de vraies contradictions, car quelque chose qui a l’air faux et qui est effectivement faux est rarement assez intéressant pour mériter un nom
    • La formulation selon laquelle, pour que le libre arbitre existe, les quanta constituant la matière doivent pouvoir avoir plusieurs issues possibles sous les mêmes lois physiques et dans les mêmes conditions me paraît étrange et hors contexte
      Cela semble parler de mécanique quantique, mais cela ne me semble représenter correctement ni la mécanique quantique ni le libre arbitre, et les épicuriens ne pouvaient évidemment pas connaître la mécanique quantique
    • Je ne comprends pas bien le lien entre le paradoxe de Simpson et les épicuriens
    • La liste des théories épicuriennes est intéressante
      J’aimerais trouver une bonne introduction qui les traite ensemble et montre en quoi elles se rattachent à la pensée des possibilités multiples
    • Cela fait un peu pinaillage, mais l’expression « la lumière est composée d’unités discrètes très légères et se déplaçant très vite » n’est pas exacte
      D’abord, la lumière a précisément une masse nulle, et seules les particules sans masse peuvent se déplacer exactement à la vitesse de la lumière, et uniquement à cette vitesse
      Ensuite, cela omet la dualité onde-particule de la lumière, qui ressemble aussi à l’explication du paradoxe de Simpson comme « deux façons différentes de penser les mêmes données » ; sans elle, on ne peut pas comprendre pleinement le comportement de la lumière ni celui du système statistique observé

  • Il y a longtemps, quand j’enseignais les statistiques d’initiation, j’utilisais les prix des logements comme bon exemple du paradoxe de Simpson
    Je faisais travailler les étudiants sur de vraies données dans des exercices de calcul ; à l’époque, il s’agissait de données sur les ventes immobilières aux États-Unis en 2008, donc elles datent maintenant d’environ 15 ans
    À ce moment-là, le prix moyen de vente des maisons individuelles était plus élevé pour les maisons sans climatisation centralisée que pour celles qui en avaient une
    Mais en ventilant par État, la relation s’inversait dans tous les États : les maisons avec climatisation centralisée étaient plus chères que celles sans climatisation centralisée
    La principale raison pour laquelle, dans la moyenne nationale, les maisons sans climatisation centralisée semblaient plus chères était que, parmi les logements coûteux de Californie, beaucoup n’en avaient pas

    • Ce résultat peut se lire comme l’inverse des exemples ci-dessus, ou comme une question de choix de la bonne statistique selon l’objectif
      Dans ce cas, la moyenne nationale importe assez peu : ce qui compte, c’est ma maison, ma rue, ma région
      Dans un cas comme le marketing, en revanche, la statistique qui compte d’abord est le bénéfice net total, puis on creuse les facteurs, en regardant la part d’activité avant les dépenses marketing
      Dans l’exemple du réseau, l’objectif n’est pas la vitesse ni la latence, mais l’utilisation/le débit
      Choisir la mauvaise statistique dès le départ mène à de mauvaises conclusions

  • https://en.wikipedia.org/wiki/Berkson%27s_paradox vaut aussi la peine d’être connu
    Quand une population est constituée de manière biaisée, il existe de nombreuses façons pour l’erreur de s’infiltrer
    Ces deux effets expliquent une bonne partie des décisions stupides issues de processus « data-driven »
    Il est fréquent que les données suggèrent exactement l’inverse de la vérité

    • La meilleure leçon à tirer de ce genre de phénomène, à mon avis, est qu’on ne peut pas connaître la vérité simplement en appliquant des statistiques à un jeu de données
      Si l’on ne comprend pas les facteurs causaux réellement à l’œuvre, les connaissances restent très limitées, quelle que soit la quantité de données et le nombre de façons de les découper statistiquement
      Par exemple, dans le cas de l’UC Berkeley cité dans l’article sur le paradoxe de Simpson, les données disent très peu de choses utiles sur le « biais » que les gens devraient traiter autrement pour rendre la procédure d’admission plus équitable
      Sans contexte — par exemple savoir si la procédure d’admission est principalement contrôlée au niveau des départements ou de l’université dans son ensemble —, on ne sait même pas où chercher les biais possibles
    • Si vous êtes empiriste, il suffit de pointer vers https://en.wikipedia.org/wiki/Goodhart%27s_law
    • Comme le dit l’adage : il y a les mensonges, les sacrés mensonges, et les statistiques

  • La courte animation de la page Wikipédia est un excellent exemple du fait qu’une image vaut mille mots
    [https://en.wikipedia.org/wiki/File:Simpsons_paradox_-_animat...](https://en.wikipedia.org/wiki/File:Simpsons_paradox_-_animation.gif)

  • Le paradoxe de Lord est étroitement lié au paradoxe de Simpson et, visuellement, il est un peu plus facile à comprendre : https://repository-images.githubusercontent.com/597130499/46...
    On peut imaginer que l’axe horizontal représente la dose d’un médicament et l’axe vertical une réponse comme la durée de sommeil
    En regardant la réponse de Lisa, il est clair que plus la dose augmente, plus le sommeil diminue ; c’est pareil pour Bart
    Mais si l’on fait une régression linéaire sur l’ensemble des données, elle indique, comme la ligne rouge, que le sommeil augmente avec la dose, ce qui est une conclusion erronée

  • Jusqu’à récemment, je ne savais pas que le paradoxe de Simpson était une leçon d’inférence causale
    Si l’on applique le bon paradigme, le paradoxe disparaît
    Un meilleur article se trouve ici : https://plato.stanford.edu/entries/paradox-simpson/

  • La première fois que je l’ai vu, j’ai cru qu’il s’agissait de l’épisode des Simpsons où Mr. Burns a « une variété incroyable de maladies qui se neutralisent les unes les autres »
    L’explication est ici : https://simpsons.fandom.com/wiki/Three_Stooges_Syndrome
    La similitude est étonnante, mais vu le génie des scénaristes des Simpsons à la fin des années 90, il est très probable que c’était intentionnel

  • En lisant l’exemple selon lequel il semblait y avoir un biais de genre dans les admissions à UC Berkeley, je suis tombé sur ceci :
    « Les femmes avaient tendance à postuler dans des départements plus compétitifs, avec des taux d’admission plus faibles, y compris parmi les candidates qualifiées. C’était le cas, par exemple, du département d’anglais. À l’inverse, les hommes avaient tendance à postuler dans des départements moins compétitifs, avec des taux d’admission plus élevés, comme l’ingénierie. »
    J’ai été surpris, car c’était l’inverse de ce à quoi je m’attendais.
    Je pensais que l’anglais et les arts en général seraient beaucoup plus faciles d’accès que les STEM ; en Australie, c’est l’impression que ça donne.
    Ici, « accéder » parle de l’admission à l’université, pas du secteur professionnel.

    • Il me semble que personne n’a encore donné la réponse évidente.
      Ces données concernent des candidatures à des programmes de troisième cycle.
      L’ingénierie dispose de beaucoup plus de financements, et une bonne partie des étudiants en doctorat d’ingénierie ne paient pas eux-mêmes leurs frais de scolarité.
      Les sciences humaines ont très peu de financements, et comme la plupart des étudiants ne veulent pas payer une grosse somme pour un doctorat en sciences humaines, les départements limitent strictement le nombre d’admissions.
      Donc, si l’on est suffisamment compétent, il est plus facile d’intégrer un doctorat en ingénierie.
      Un ami qui étudiait l’ingénierie avec moi a été désabusé et a voulu se tourner vers le journalisme ; il a demandé à changer de cursus pour le programme de Communications de l’université, mais la concurrence était telle qu’ils prenaient moins de 10 personnes par an, et il a finalement été refusé.
    • En Australie, on pense généralement la sélectivité d’une licence à partir du rang ATAR minimal des admis de l’année précédente.
      Mais on peut aussi voir la compétitivité comme un taux d’admission, c’est-à-dire nombre d’admis / nombre de candidats.
      Si, dans une filière très populaire, la proportion de candidats avec un ATAR élevé est disproportionnellement faible, ces deux indicateurs peuvent coexister.
    • Moi aussi, j’ai été surpris en lisant ça.
      La réponse semble être que ce qu’on regarde ici, c’est le taux d’admission = nombre d’admis / nombre de candidats, ce qui n’est pas la même chose que la difficulté globale au sens conceptuel.
      Les personnes qui postulent en master/doctorat de maths sont uniquement celles qui ont eu de bons résultats en licence de maths, ou qui ont suivi beaucoup de cours de mathématiques théoriques dans une autre filière STEM.
      Les arts attirent des candidats aux profils plus variés, et il y a probablement bien plus de gens qui passent des STEM vers d’autres domaines que l’inverse.
      Il est facile de se convaincre que sa nouvelle est excellente, même si les autres ne sont pas d’accord ; il est plus difficile de se convaincre qu’une démonstration mathématique objectivement fausse est correcte.
      Il y a donc moins d’autosélection du côté des candidats, ce qui fait baisser le taux d’admission.
    • La compétitivité est une façon de mesurer la difficulté, mais il en existe d’autres.
      Les départements d’ingénierie ont tendance à être plus difficiles à intégrer qualitativement, tandis que les sciences humaines le sont davantage quantitativement.

  • Cette visualisation était si efficace que je n’ai pas eu besoin de lire le wiki.
    Rien qu’avec elle, j’ai compris immédiatement.