L’effet Dunning-Kruger est une autocorrélation

L’effet Dunning-Kruger est une autocorrélation

• L’effet Dunning-Kruger est connu comme la tendance des personnes incompétentes à surestimer leurs propres capacités.
• Cet effet a été découvert en 1999 par des psychologues, et de nombreuses études ont semblé le confirmer à partir des données.
• Cependant, cet effet est en réalité le résultat d’une erreur statistique, l’autocorrélation, et n’a rien à voir avec la psychologie humaine.

Qu’est-ce que l’autocorrélation ?

• L’autocorrélation désigne le phénomène par lequel une variable est corrélée avec elle-même.
• Par exemple, si l’on mesure la taille d’une personne, cette taille est parfaitement corrélée avec elle-même.
• Il est difficile de repérer l’autocorrélation lorsque la variable est mélangée des deux côtés d’une équation.

L’effet Dunning-Kruger

• L’effet Dunning-Kruger est un exemple d’autocorrélation et provient en réalité d’une mauvaise interprétation du graphique.
• Dunning et Kruger ont fait passer des tests à des personnes, leur ont demandé d’autoévaluer leurs capacités, puis ont rapporté que les moins performants avaient tendance à surestimer leurs compétences.
• Cependant, ce résultat provient en réalité de l’autocorrélation entre les scores au test et les scores d’autoévaluation.

Déconstruction de l’effet Dunning-Kruger

• Le graphique de Dunning-Kruger regroupe les personnes selon leurs scores au test, puis les représente en percentiles pour les comparer à leur autoévaluation.
• Cette méthode revient à comparer les scores du test avec eux-mêmes, ce qui masque l’autocorrélation.
• Le fait que l’effet Dunning-Kruger apparaisse même avec des données aléatoires s’explique justement par cette autocorrélation.

Reproduction de l’effet Dunning-Kruger

• Lorsqu’on essaie de comprendre l’effet Dunning-Kruger à partir de données réelles, on obtient des résultats différents de ceux des données d’origine.
• Quand on tente de reproduire l’expérience, les données brutes semblent aléatoires et ne montrent aucune trace de l’effet Dunning-Kruger.
• Mais en analysant les données autrement, on peut donner l’impression que l’effet Dunning-Kruger apparaît.

Effondrement de l’effet Dunning-Kruger

• Si des chercheurs ont pu reproduire l’effet Dunning-Kruger alors qu’ils utilisaient en réalité des nombres aléatoires, c’est à cause de l’autocorrélation.
• Après avoir découvert cette erreur, ils ont compris que le graphique de Dunning-Kruger reposait en fait sur l’autocorrélation.

L’absence de l’effet Dunning-Kruger

• Lorsqu’on mesure l’effet Dunning-Kruger d’une manière statistiquement valide, on constate qu’il disparaît.
• En mesurant l’erreur d’autoévaluation de personnes regroupées selon leur niveau d’éducation, l’erreur moyenne reste autour de 0 et ne fournit aucune preuve de l’effet Dunning-Kruger.

Les incompétents qui l’ignorent

• L’erreur statistique commise par Dunning et Kruger peut avoir été involontaire, mais leur article soutient que les personnes incompétentes ne reconnaissent pas leur propre incompétence.
• En réalité, ce sont Dunning et Kruger eux-mêmes qui révélaient une incompétence statistique, en confondant l’autocorrélation avec un effet psychologique.

L’avis de GN⁺

Le point le plus important de cet article est que l’effet Dunning-Kruger n’a en réalité rien à voir avec la psychologie humaine et repose sur une erreur statistique appelée autocorrélation. Cela montre les pièges possibles de l’interprétation des données et illustre comment une découverte scientifique peut être mal comprise à cause d’une mauvaise interprétation statistique. Comprendre ce type d’erreur offre une leçon importante pour interpréter et vérifier des résultats de recherche, ce qui peut être utile non seulement aux ingénieurs logiciels juniors, mais aussi aux chercheurs de tous les domaines scientifiques.

[GN⁺]

Avis Hacker News

• Un commentateur reconnaît ne pas comprendre suffisamment les statistiques ou la psychologie, tout en estimant que l’étude D&K ressemble à ce que disait son grand-père : « plus on en sait, plus on se rend compte de tout ce qu’on ignore ». Il se demande si beaucoup de gens ont tendance à croire qu’ils en savent plus qu’en réalité, et si cela pourrait aussi s’appliquer à lui-même ainsi qu’à l’auteur de l’article.
• Un autre commentateur n’est pas d’accord avec la thèse de l’article et présente un texte qui réfute l’idée selon laquelle le graphique D-K serait simplement le résultat d’une autocorrélation. Il explique qu’il serait en réalité très surprenant de supposer que la performance et l’évaluation de la performance soient indépendantes, et que l’étude D-K a montré qu’il existe bien une corrélation entre la performance et l’autoévaluation, même si elle n’était pas aussi forte qu’attendu. Elle montrait plutôt un biais cohérent, ce qui constitue le résultat intéressant.
• Comme cela a été mentionné dans une discussion précédente, l’auteur suppose que les gens sont tellement mauvais pour prédire leurs propres capacités que l’autoévaluation équivaut à une variable aléatoire inconditionnelle. Si la capacité réelle est élevée, l’autoévaluation a davantage de chances d’être inférieure à la capacité réelle par simple hasard. Cette critique soulève la question de savoir si les gens évaluent vraiment leurs capacités de façon aussi erronée.
• Les auteurs ont fait une analyse de type « X - Y contre X », mais ce n’est pas le principal problème. Ils ont soustrait deux mesures transformées et bornées entre 0 et 1. Que se passe-t-il aux valeurs extrêmes ? Dans quelle mesure les meilleurs performeurs peuvent-ils surestimer leurs résultats ? Ils ne le peuvent guère, puisqu’ils sont déjà proches de 1. S’ils surestiment et sous-estiment avec la même proportion et la même ampleur, l’effet de plafond sur les valeurs transformées fera paraître le graphique comme s’ils sous-estimaient plus souvent.
• La discussion dans les commentaires entre Nicolas Boneel et l’auteur est intéressante, et Nicolas exprime les doutes qu’il a eus en lisant l’article. Le cœur de l’effet DK est que les gens évaluent mal leurs propres compétences ; dès lors, si l’on suppose qu’ils devinent leur niveau de compétence au hasard, il est naturel de pouvoir reproduire le résultat.
• Le terme « autocorrélation » utilisé par l’auteur diffère du sens généralement employé en statistique. L’« autocorrélation » désigne la corrélation d’une série temporelle avec elle-même à un certain décalage temporel ; l’utiliser comme dans le billet d’origine, comme mentionné par l’OP, peut prêter à confusion pour les personnes qui connaissent les statistiques.
• Dans le monde imaginé par l’auteur, si les estimations que les gens font de leur score sont indépendantes de leur score réel, alors on peut effectivement dire que l’effet DK existe. Les personnes ayant de faibles scores auront tendance à surestimer leur score, et celles ayant des scores élevés à le sous-estimer.
• Il existe une confusion autour du terme « biais ». Si l’autoévaluation est aléatoire, alors les personnes très performantes se sous-évalueront toutes, mais cela ne signifie pas qu’il y a un biais en faveur de la sous-estimation. Le graphique D-K montre un autre biais, compatible avec l’idée que la plupart des gens se considèrent comme dans la moyenne. Cela implique que les personnes très performantes surestimeront la moyenne, tandis que les moins performantes la sous-estimeront.
• Il est souligné que la définition de l’« autocorrélation » dans l’article diffère de celle de Wikipédia. La définition de l’article n’a rien à voir avec un décalage temporel, et l’appeler « autocorrélation » dans le contexte du D-K est une formulation incorrecte.
• Si les personnes peu qualifiées et les personnes qualifiées s’autoévaluent en moyenne de la même manière, alors les premières se surestimeront et les secondes se sous-estimeront. Cela seul pourrait déjà constituer un résultat important, et l’existence d’une corrélation est effectivement relevée.