- Le célèbre schéma selon lequel « les personnes peu compétentes surestiment leurs capacités » pourrait être moins une caractéristique stable de la psychologie humaine qu’un artefact statistique dû au mélange, sur le même axe, des scores de test et de l’erreur d’autoévaluation
- Le point clé est l’autocorrélation : si l’on compare à nouveau à x la différence y−x entre le score de test x et l’autoévaluation y, x se retrouve des deux côtés de l’équation, ce qui produit la même forme même avec des données aléatoires
- Le graphique de Dunning et Kruger de 1999 répartissait les participants en quartiles selon leur score au test et comparait les moyennes en percentile du score réel et de la capacité perçue, faisant apparaître l’écart entre les deux courbes comme un effet psychologique
- Des « scores de test » et des « autoévaluations » générés aléatoirement, traités de la même manière, peuvent aussi produire une courbe de type Dunning-Kruger, où les moins performants semblent trop confiants et les plus performants modestes
- Les critiques de Nuhfer et al. en 2016 et 2017, ainsi que celle de Gignac et Zajenkowski en 2020, pointaient le même problème, mais les trois articles critiques ne totalisent que 88 citations sur Google Scholar, contre 7 893 pour l’article original
Revoir statistiquement l’effet Dunning-Kruger
- L’effet Dunning-Kruger est connu grâce à l’étude publiée en 1999 par Justin Kruger et David Dunning, et désigne la tendance des personnes peu compétentes à surestimer leurs capacités
- Cette critique met l’accent sur le fait que l’effet apparaît de manière répétée dans les données non pas tant comme un phénomène psychologique que du fait de l’autocorrélation
- L’autocorrélation est une situation où une variable est corrélée avec elle-même
- Dans sa forme pure, c’est une circularité évidente, comme « 5 = 5 »
- Mais lorsque la même variable se retrouve des deux côtés d’une équation, cela se voit moins facilement
- Par exemple, si x et y sont indépendants et que l’on crée z = x + y, puis que l’on corrèle z avec x, x apparaît des deux côtés, ce qui donne l’impression qu’une corrélation existe
La structure du graphique Dunning-Kruger original
- Dunning et Kruger ont fait passer un test de compétence aux participants, puis leur ont demandé d’évaluer leur propre capacité
- L’axe horizontal du graphique est un axe catégoriel qui répartit les personnes en 4 groupes de quartiles selon leur score au test
- En apparence, c’est un axe catégoriel, mais il représente en réalité le classement du score de test x
- L’axe vertical affiche le score réel et la capacité perçue en percentiles
- La ligne grise représente le percentile moyen des scores réels au test pour chaque groupe de quartile
- C’est, en substance, comme tracer x en fonction de x
- La ligne noire représente le percentile moyen des autoévaluations de chaque groupe
- Sa structure consiste à tracer l’autoévaluation y en fonction du score de test x
L’autocorrélation créée par l’écart entre les deux courbes
- Dans le graphique Dunning-Kruger, l’élément frappant est l’écart entre la « capacité perçue » et le « score réel au test »
- Mathématiquement, cet écart est y−x
- y est l’autoévaluation
- x est le score réel au test
- Si l’on interprète cet écart par rapport à l’axe horizontal x, la relation devient (y−x) ~ x
- Comme x se retrouve alors des deux côtés de l’équation, une autocorrélation apparaît, x étant comparé à une forme négative de lui-même
- Par conséquent, même si l’on remplace x et y par des nombres aléatoires sans aucune signification psychologique, un graphique construit de cette manière peut produire un motif ressemblant à l’effet Dunning-Kruger
Des données aléatoires produisent le même motif
- Imaginons, dans une expérience de reproduction fictive, que l’on recrute 1 000 personnes et que l’on obtienne leurs scores de test et leurs autoévaluations
- Si l’on trace tels quels les scores de test individuels et les autoévaluations dans un nuage de points, l’ensemble semble totalement aléatoire et ne montre aucune trace de l’effet Dunning-Kruger
- On calcule ensuite l’erreur d’autoévaluation
- Erreur d’autoévaluation = autoévaluation − score au test
- Si l’on compare cette erreur au score au test, une relation forte apparaît
- Les moins performants semblent se surestimer fortement
- Les plus performants semblent excessivement modestes
- En plaçant les mêmes données dans un graphique de type Dunning-Kruger, on peut même obtenir une courbe donnant l’impression d’un effet plus important que dans le résultat original
- Mais si ces données ne sont pas des mesures expérimentales réelles et ne sont que des nombres aléatoires, le motif observé est le produit d’une structure statistique, et non un effet psychologique
La vérification alternative de Nuhfer et al.
- Pour corréler deux ensembles de données de manière statistiquement valide, les deux mesures doivent être mesurées indépendamment
- Le graphique Dunning-Kruger viole ce principe en mélangeant les scores de test sur les deux axes
- Edward Nuhfer et ses collègues ont examiné comment l’effet changeait lorsque la « compétence » était mesurée d’une manière indépendante de la performance au test ou de l’autoévaluation
- Dans l’analyse de Nuhfer, l’axe horizontal représente le niveau d’éducation, et l’axe vertical l’erreur d’autoévaluation
- Chaque point représente une personne
- L’erreur moyenne d’autoévaluation est indiquée par des bulles vertes
- Si l’effet Dunning-Kruger existe, on devrait observer une tendance à la baisse : plus le niveau d’éducation augmente, plus l’erreur d’autoévaluation diminue
- Dans ces résultats, une telle tendance n’apparaît pas, et l’erreur moyenne d’évaluation reste proche de 0
- En revanche, plus le niveau d’éducation est élevé, plus la variance de l’erreur d’autoévaluation tend à diminuer
- Les professeurs ont tendance à évaluer leurs capacités plus précisément que les étudiants de première année
- Il s’agit d’un phénomène différent de l’effet Dunning-Kruger, qui porte sur un biais moyen de surestimation
Le biais ajouté par la conversion en percentiles
- La conversion en percentiles introduit un autre biais, en plus de l’autocorrélation
- Les percentiles ont un plancher et un plafond, 0 et 100
- Une personne proche du plancher peut difficilement sous-estimer davantage son rang
- Une personne proche du plafond peut difficilement surestimer davantage son rang
- En raison de cette structure, les moins performants ont facilement l’air trop confiants, et les plus performants l’air modestes
- En outre, la courbe qui compare les percentiles des scores de test aux quartiles des scores de test apporte très peu d’information supplémentaire sur les scores réels, puisque chaque quartile contient par définition 25 percentiles
Pourquoi la critique ne s’est pas largement diffusée
- L’article original de Dunning et Kruger a été publié en 1999
- Ce défaut d’analyse semble n’avoir été pleinement compris qu’en 2016
- Les articles critiques d’Edward Nuhfer et de ses collègues sont parus en 2016 et 2017, et Gilles Gignac et Marcin Zajenkowski ont publié une critique similaire en 2020
- Selon Google Scholar, les trois articles critiques totalisent 88 citations, tandis que l’article de Dunning et Kruger de 1999 en compte 7 893
- Les réfutations d’analyses erronées ont tendance à être moins connues que les articles originaux, et paraissent souvent dans des lieux moins visibles que la revue ayant publié l’article initial
- Le célèbre graphique Dunning-Kruger illustre moins « les personnes incompétentes qui ignorent leur incompétence » qu’un défaut d’analyse consistant à interpréter une autocorrélation comme un effet psychologique
1 commentaires
Avis sur Hacker News
Cette interprétation est difficile à accepter, et cette réfutation l’explique mieux : https://andersource.dev/2022/04/19/dk-autocorrelation.html
L’idée centrale est que cette interprétation par autocorrélation montre que « si la performance et l’évaluation de la performance sont aléatoires et indépendantes, on obtient une forme semblable au graphique D-K », puis en conclut que l’effet n’est qu’une autocorrélation.
Mais en réalité, il est encore plus étrange de s’attendre à ce que la performance et l’autoévaluation soient indépendantes. On s’attend à ce que les gens soient capables d’évaluer assez correctement leurs propres capacités, et D-K a bien montré une corrélation entre les deux, simplement moins forte qu’attendu. Le résultat intéressant est le biais systématique ; on peut débattre des hypothèses sur sa cause, mais il ne faut pas ignorer le fait qu’on ne s’attend pas à ce que les variables soient indépendantes.
En moyenne, les gens estimaient leur capacité non pas au 50e centile d’une simulation aléatoire, mais autour du 65e centile par rapport aux résultats réels, et l’autoévaluation augmente avec la capacité réelle, mais étonnamment peu. La discussion de l’auteur sur l’« autocorrélation » est essentiellement une diversion sans rapport avec le fond, et les résultats générés aléatoirement ne correspondent pas à ceux de l’article original. Bien sûr, la solidité de la reproductibilité est une autre question, mais le mode de visualisation lui-même n’est pas problématique ; des barres de dispersion auraient toutefois été préférables.
Ce qui était intéressant dans le résultat original, c’est que la corrélation entre performance réelle et performance perçue est plus faible que ne le suggérerait l’intuition. Mais à mesure que l’effet D-K s’est diffusé dans la culture populaire, l’intuition collective a elle aussi changé ; désormais, si l’on explique l’effet D-K original à une personne quelconque sur Internet, elle pourrait trouver intéressant que « la corrélation soit plus élevée qu’elle ne le pensait ». Parce qu’elle pensait probablement que cette corrélation serait négative.
Si les données étaient exactes et précises à 100 % [1], la ligne serait diagonale : le 1er quartile devrait être autour de 12,5 %, et le 4e autour de 87,5 %. Si les données étaient exactes mais pas précises, à mesure que l’aléa augmente, cette diagonale se transformerait en une ligne plate au milieu et devrait croiser à 50 %. Or ce que l’on observe en réalité n’est ni l’un ni l’autre : le 1er quartile est à environ 60 %, le 4e à 75 %. Cela montre qu’il existe une certaine capacité d’autoévaluation, mais qu’elle est décalée. Le quartile supérieur peut sembler se sous-estimer à cause d’un effet de plafonnement, mais la surestimation du quartile inférieur est difficile à éviter.
[1] https://en.wikipedia.org/wiki/Accuracy_and_precision
Il est difficile de conserver sa crédibilité quand on dit d’un côté qu’« il est bien plus raisonnable de supposer que les gens peuvent évaluer leur propre performance », et de l’autre qu’on « ne conteste pas l’affirmation selon laquelle plus le niveau de compétence est élevé, mieux on évalue sa propre performance ». Cela revient à traiter une variable clé comme fixe, puis à admettre que cette même variable varie au sein du même jeu de données : il y a un manque de cohérence interne.
Le graphique linéaire lisse que tout le monde associe à D-K n’est qu’un des quatre, et les trois autres sont beaucoup plus brouillons ; l’article traite aussi de cas où la corrélation est faible, voire inexistante. De plus, ce graphique qui paraît parfait mesurait le sens de l’humour. L’humour est susceptible de produire un bruit presque total entre l’autoévaluation et l’évaluation par des experts — ici, des humoristes professionnels. Si tout le monde devine en pratique sa propre performance au hasard, on obtient toujours une forte forme D-K où les meilleurs se sous-estiment et les moins bons se surestiment. L’expérience qui cherchait à mesurer l’intelligence de la manière la plus simple et directe est la n° 2, basée sur des questions de logique du LSAT, et son graphique de résultats est très irrégulier. L’article écrit aussi que « les participants n’ont pas surestimé le nombre de questions auxquelles ils avaient répondu correctement, et la perception de leur capacité était positivement liée à leur capacité réelle, mais pas de manière significative ». Cela ressemble à un autre Zimbardo.
[1] - https://sci-hub.se/10.1037/0022-3514.77.6.1121
Les auteurs ont fait « X - Y contre X », mais le problème le plus important est qu’ils ont soustrait deux mesures transformées entre 0 et 1 et bornées.
Aux extrêmes des bornes, de combien les meilleurs peuvent-ils surestimer leur propre performance ? Comme elle est déjà presque à 1, pas beaucoup. Même si, sur les valeurs brutes, surestimation et sous-estimation se produisent avec la même fréquence et la même ampleur, l’effet de plafond des valeurs transformées fait que le graphique donne l’impression que les meilleurs se sous-estiment plus souvent. Pour les moins bons, le problème inverse se pose. Voir les figures 7, 8 et 9 de « Random Number Simulations Reveal How Random Noise Affects the Measurements and Graphical Portrayals of Self-Assessed Competency. » Numeracy 9, Iss. 1 (2016)
Le quartile le plus bas ne peut pas dire qu’il est en dessous du quartile le plus bas, donc toute erreur est comptée comme de la « surconfiance ». Le quartile le plus haut ne peut pas dire qu’il est au-dessus du quartile le plus haut, donc toute erreur est comptée comme un « manque de confiance »
Le fait qu’un bruit aléatoire puisse produire la courbe moyenne de l’axe Y ne signifie pas que D-K n’existe pas. Cela signifie seulement que l’auto-analyse moyenne de D-K ressemble à une moyenne aléatoire de niveau intermédiaire, ce qui, à la réflexion, est logique. La plupart des gens ont probablement tendance à s’évaluer comme moyens, indépendamment de leur niveau réel ; D-K reste donc apparemment valide
Si l’on suppose un mécanisme sous-jacent, la capacité brute des personnes qui passent le test pourrait suivre une loi log-normale. La participation au test implique déjà un seuil minimal implicite de QI, et il existe aussi de longues queues dans les domaines de haute performance comme le sport. Le test cherche à mesurer la performance mais la réduit à une loi normale ou à quatre catégories, et les gens estiment leur capacité à partir de leur expérience de la tâche et de la notation, ce qui est là encore ramené à une loi normale ou à une distribution constante. Il y a donc réduction de dimension, implicitement ou explicitement, à trois endroits ; je n’envie pas les chercheurs qui doivent éplucher cet oignon. Cela dit, voir ces problèmes se résoudre dans une expérience conçue pour être accessible améliore la compréhension
Dans les commentaires de l’article, le débat entre Nicolas Boneel et l’auteur est intéressant, et Nicolas formule bien les doutes que j’avais en le lisant
Le cœur de l’effet D-K étant que les gens sont mauvais pour estimer leur propre niveau, il est évidemment possible de reproduire le résultat si l’on suppose qu’ils estiment ce niveau au hasard. Le bon modèle d’un monde sans D-K devrait être à peu près score estimé au test = score réel au test + bruit, et le faux D-K attendu dans ce cas ne devrait venir que des bornes minimale et maximale du score. Cet effet devrait être proportionnel à la variance du bruit, mais la variance des jeux de données supplémentaires semble trop faible pour expliquer suffisamment l’effet observé. De plus, dans ce modèle, tout le monde devrait en moyenne deviner correctement dans quelle moitié de la distribution il se situe, alors que même le quartile le plus bas semble avoir estimé sa capacité au-dessus du 50e percentile
Un test comporte des éléments aléatoires, comme le fait de deviner, que la personne ne peut pas estimer
https://en.m.wikipedia.org/wiki/Regression_dilution
https://en.m.wikipedia.org/wiki/Errors-in-variables_models
Ces graphiques peuvent refléter un niveau globalement faible, ou une structure plus subtile : faible capacité d’estimation en bas, amélioration au milieu, puis en haut un mélange de compétence élevée et de modestie apprise
Il n’y a donc pas de raison de croire que les meilleurs estiment mieux leur capacité ; ils sont simplement contraints par le fait qu’ils ne peuvent pas estimer leur rang au-dessus du maximum
Attention au terme non standard : l’auteur emploie autocorrélation d’une manière que je n’ai jamais vue
D’ordinaire, l’autocorrélation désigne la corrélation d’une série temporelle avec elle-même décalée d’un certain intervalle de temps. L’employer comme dans le texte original risque de troubler les personnes qui connaissent les statistiques, et l’inverse aussi
L’article dit que « l’autocorrélation se produit quand on corrèle une variable avec elle-même », alors que la définition standard est plutôt « le degré de corrélation des mêmes variables entre deux intervalles de temps successifs » ; c’est un concept qui mesure, dans une série temporelle, comment une valeur retardée est liée à la valeur d’origine, et on l’appelle aussi corrélation sérielle
L’autocorrélation d’une série temporelle consiste à relier la même fonction de série temporelle à différents instants. Dans le cas le plus simple, on peut représenter un tableau X où X[i] = f(t[i]) en le comparant à X ; on peut aussi compliquer les choses avec une transformation comme une moyenne mobile, g(X) contre X
Si l’on imagine le monde hypothétique décrit par l’auteur, où l’estimation que les gens font de leur score est indépendante de leur score réel, ne pourrait-on pas dire que, dans ce monde, l’effet D-K est réel ?
Le cœur de cet effet, c’est que les personnes ayant obtenu un faible score ont tendance à surestimer leur score, tandis que celles ayant obtenu un score élevé ont tendance à le sous-estimer. Il peut y avoir plusieurs raisons raisonnables à cela, y compris le cas où personne n’a vraiment une bonne intuition de son propre score, comme dans l’exemple jouet de l’auteur, mais le phénomène lui-même semble bien réel.
L’exemple des points aléatoires de l’auteur est mauvais, parce qu’il est raisonnable de s’attendre à ce que les gens se comportent différemment de points aléatoires uniformes. Quelqu’un qui est bon dans un domaine estimera qu’il est bon, et quelqu’un qui est mauvais estimera qu’il est mauvais. Mes enfants aiment les maths et s’attendent à bien réussir leurs examens de maths, et en général ils les réussissent effectivement. Parmi leurs camarades, il y a des enfants qui disent haut et fort qu’ils détestent les maths, s’attendent à ne pas réussir, et effectivement réussissent plutôt mal. Comme je suis nul en cuisine, je ne doute pas que je recevrais de mauvaises notes des juges si je participais à un concours de cuisine. Les données attendues sont corrélées. Mais si, dans l’étude, cette corrélation est en fait presque inexistante, et que beaucoup de gens qui s’attendaient à bien réussir échouent tandis que beaucoup de gens qui s’attendaient à échouer réussissent, autrement dit si cela ressemble à des données uniformément aléatoires, alors ce serait un résultat surprenant, et il me semble que ce serait bien l’effet D-K. Je ne suis pas statisticien, donc je rate peut-être quelque chose.
On pourrait lancer un dé, puis un deuxième, et étudier pourquoi le deuxième dé tend à former un total de 7 avec le premier. Avec des dés, on écarterait cela comme une idée stupide, mais lorsque l’objet d’étude est l’humain, on peut facilement se laisser entraîner à tort vers des théories psychologiques à leur sujet.
La définition de l’autocorrélation donnée par l’article est « ce qui se produit lorsqu’on corrèle une variable avec elle-même », alors que celle de Wikipédia est « en temps discret, aussi appelée corrélation sérielle, la corrélation d’un signal avec une copie retardée de lui-même en fonction du retard ».
Bien sûr, un retard nul est un cas trivial de décalage temporel, mais la définition de l’article est, au mieux, imprécise. L’effet D-K n’a rien à voir avec un décalage temporel, et appeler cela autocorrélation ressemble à un jeu de mots qui ne prend pas vraiment.
Il semble y avoir ici une confusion sur ce que signifie « biais ».
Si les gens s’autoévaluent au hasard, alors tous les meilleurs performeurs finiront par se sous-estimer, mais comme le choix lui-même est aléatoire, ce n’est pas un biais vers la sous-estimation. En revanche, le graphique D-K montre un autre biais, qui correspond globalement aux attentes. Les personnes sans connaissances supposent qu’elles ont un niveau moyen et gonflent ainsi leur position ; les personnes très compétentes pensent que les autres en savent autant qu’elles et hésitent donc à se noter comme les meilleures. L’hypothèse commune aux deux groupes est que l’on est ordinaire et que les autres sont semblables. La plupart des gens se considèrent probablement comme moyens, et on pourrait le vérifier facilement en leur demandant d’évaluer la performance d’une personne moyenne à un test, puis en comparant avec leur score individuel. Presque certainement, les meilleurs surestimeraient la moyenne et les moins bons la sous-estimeraient.
S’il existe une relation linéaire entre le score au test X, c’est-à-dire la capacité, et l’autoévaluation Y, c’est-à-dire la conscience de soi, alors la variable aléatoire peut être modélisée par
Y ~ aX + b + N.Ici, N est un bruit statistiquement indépendant de moyenne nulle. La covariance devient alors
Cov(Y-X, X) = (a-1) Var[X], et pour obtenir l’« effet D-K », il faut que(a-1) < 0, c’est-à-direa < 1. Si, comme dans le billet de blog,a=0, cela tient clairement ; dans le cas idéala=1, b=0, cela ne tient tout juste pas. Sia > 1, on obtient un effet entièrement nouveau concernant les experts arrogants. Donc, dans cette perspective d’autocorrélation, ce qui compte est uniquement la vitesse à laquelle l’autoévaluation d’une personne augmente avec sa compétence. Tant que l’ampleur de cette augmentation est sous-estimée, l’effet D-K apparaît. Mais cette analyse ignore b. Sia=0.8, b=0, cela correspond à la perspective d’autocorrélation, mais tout le monde sous-estime ses capacités, donc le prétendu effet D-K n’apparaît pas. En fin de compte, b — c’est-à-dire la valeur a priori de compétence que chacun suppose posséder — est important. Ce que montre l’article D-K, c’est queb > .5, ce qui correspond à l’esprit de l’interprétation populaire. Il ne faut pas supposer que les gens ont au moins une compétence supérieure à la moyenne. En même temps, b n’est pas absurdement supérieur à .5, donc on peut vouloir laisser une certaine marge aux « incompétents qui s’ignorent ». Prendre la moyenne comme ligne de base est en pratique impossible, mais intuitivement cela paraît plausible.Ce n’est pas de l’autocorrélation. Le texte original assimile la dépendance linéaire à l’autocorrélation, mais ce terme ne s’emploie pas ainsi.
L’autocorrélation désigne le cas où un processus aléatoire est corrélé avec lui-même avec un décalage temporel.
Beaucoup semblent ne pas avoir lu l’article original jusqu’au bout. Le point clé apparaît lorsqu’il cite cet article : https://digitalcommons.usf.edu/cgi/viewcontent.cgi?article=1...
La figure 2 de cet article montre les résultats d’une expérience où la compétence et la perception de sa propre compétence sont mesurées indépendamment. C’est une conception destinée à éliminer l’artefact statistique qu’est l’autocorrélation. Or, en moyenne, la compétence n’est pas corrélée à l’exactitude de l’autoévaluation, et il n’y a aucun effet D-K. Ce qui apparaît réellement, c’est seulement que les personnes plus compétentes estiment leur niveau de manière plus cohérente, autrement dit avec une variabilité d’évaluation plus faible, tandis que l’exactitude moyenne reste de 0. Par conséquent, en moyenne, la compétence réelle et la compétence perçue ne sont pas corrélées, et c’est précisément ce que démontre aussi la preuve numérique fondée sur des nombres aléatoires. C’est pourquoi, dans beaucoup de cas, on en vient à appliquer le rasoir d’Occam.