Une étude de l’Université du Michigan révèle que les étudiants dont le nom de famille est situé plus bas dans l’ordre alphabétique obtiennent de moins bonnes notes

Résultats de l’étude sur le biais de notation séquentielle

• Après avoir analysé plus de 30 millions d’enregistrements de notes sur Canvas, des chercheurs de l’Université du Michigan ont constaté que les étudiants dont le nom de famille se situe plus loin dans l’ordre alphabétique ont tendance à obtenir des notes plus faibles
  • Cela s’explique par un biais de notation séquentielle et par le fait que, dans Canvas, l’ordre par défaut des copies remises est basé sur l’ordre alphabétique des noms de famille
• Les étudiants désavantagés par l’ordre alphabétique reçoivent des commentaires plus négatifs et moins polis, et la qualité de l’évaluation, mesurée à partir des contestations de notes déposées après coup par les étudiants, est également plus faible
• Les chercheurs expliquent qu’ils réfléchissent beaucoup à l’équité et à la précision de l’évaluation, mais qu’ils n’avaient pas pris conscience de cet effet avant de voir, dans les données, que l’ordre produisait une différence

Données et résultats de la recherche

• Les chercheurs ont rassemblé toutes les données historiques disponibles sur Canvas pour l’ensemble des programmes, des étudiants et des devoirs, du semestre d’automne 2014 jusqu’au semestre d’été 2022
  • Ils les ont complétées avec les données d’inscription à l’université, afin d’inclure des informations détaillées sur le parcours, le profil et les caractéristiques démographiques des étudiants au sein de l’établissement
• Même si les données proviennent de l’Université du Michigan, les chercheurs estiment que les résultats peuvent être généralisés à d’autres établissements et cursus en raison d’un problème de conception commun aux systèmes de gestion de l’apprentissage
  • Il tient au paramètre par défaut qui trie les travaux des étudiants par ordre alphabétique des noms
• Ils ont découvert un schéma clair : plus un évaluateur corrige de copies, plus la qualité de la notation se dégrade
  • Les étudiants dont le nom de famille commence par A, B, C, D ou E obtiennent 0,3 point de plus sur 100 que s’ils étaient notés dans un ordre aléatoire
  • À l’inverse, les étudiants dont le nom de famille se situe plus loin dans l’alphabet perdent 0,3 point, soit un écart total de 0,6 point
• Un écart de 0,6 point peut sembler faible, mais ces disparités influent sur la moyenne des étudiants dans une matière et peuvent avoir des effets négatifs sur les opportunités qui jalonnent leur parcours

Contexte de la recherche et propositions

• L’idée de cette étude est née lors d’une discussion entre Wang, qui travaille sur les technologies éducatives, et Fei, qui travaille sur l’IA
  • Ils ont relevé que l’annotation de données, une tâche fondamentale du machine learning, est elle aussi un travail long et répétitif, mais qu’elle est généralement effectuée de manière aléatoire
  • Une étude pilote leur a permis de vérifier s’il existait un déséquilibre des notes en fonction du moment où la copie est corrigée
• Les chercheurs supposent que la fatigue pourrait être l’un des principaux facteurs à l’origine de cet effet
  • Lorsqu’on effectue la même tâche pendant longtemps, on se fatigue, l’attention diminue et les capacités cognitives se dégradent
• Dans Canvas et d’autres systèmes de gestion de l’apprentissage en ligne, il existe une option pour corriger les devoirs dans un ordre aléatoire, utilisée par certains enseignants, mais le mode par défaut reste l’ordre alphabétique
  • Une solution simple consisterait à faire de l’ordre aléatoire le paramètre par défaut
• Ils suggèrent également que les établissements académiques embauchent davantage de correcteurs pour les grands cours, répartissent la charge de travail entre davantage de personnes, ou forment les évaluateurs à reconnaître et à réduire ces biais

L’avis de GN⁺

• Le fait que le biais de notation séquentielle ait un impact concret sur les résultats des étudiants soulève une question d’équité dans les systèmes d’évaluation éducatifs. Étant donné l’influence majeure des notes sur l’avenir des étudiants, une amélioration semble urgente
• Cela dit, comme l’étude se limite aux pays anglophones, il est possible que le problème soit moins important ailleurs. Il faudrait des recherches locales pour vérifier si le même phénomène apparaît avec l’ordre des caractères d’autres langues ou avec d’autres systèmes de classement des noms
• Le fait que la fatigue des évaluateurs influence la qualité de la notation suggère la nécessité d’une compensation et d’un soutien adéquats pour le travail d’évaluation dans le monde éducatif. Une charge de travail excessive peut nuire à l’équité de l’évaluation
• L’introduction de systèmes de notation automatique basés sur l’intelligence artificielle pourrait aussi constituer une piste. Cela dit, les problèmes de biais seraient loin d’être entièrement résolus, et il faudrait également prévoir des solutions pour préserver la dimension qualitative de l’évaluation

[GN⁺]

Avis Hacker News

Voici un résumé des commentaires sur Hacker News :

• À l’université, lors de la correction des examens, l’ordre des copies empilées sur les bureaux suit celui de leur collecte. Les correcteurs mélangent les copies entre eux dans une salle, chacun prenant en charge une question précise afin de garantir une notation cohérente. L’ordre de correction est donc en pratique aléatoire.
• En revanche, pour les devoirs, la correction se fait par ordre alphabétique des noms des étudiants, et tout le monde reconnaît qu’il faudrait mélanger l’ordre pour plus d’équité. En effet, (1) on est moins fatigué au début, (2) vers la fin on est de meilleure humeur en sachant que cela se termine bientôt, et (3) au début, on peut laisser passer des erreurs fréquentes ou manquer de repères.
• Un commentaire raconte que, à l’école primaire, son nom de famille étant en tête de liste, il se voyait souvent confier des tâches particulières, comme gérer les tickets ou être évalué en premier en cours de sport. Pour un enfant introverti, c’était pénible.
• Dans les écoles des années 80 et 90, les places étaient attribuées de l’avant à l’arrière selon l’ordre alphabétique des noms de famille. Au lycée, les élèves dont le nom commençait par A à D étaient souvent les meilleurs, tandis que ceux de U à Z étaient plus souvent turbulents. Cela venait peut-être du fait qu’ils étaient assis plus près des enseignants et recevaient davantage d’attention.
• Les personnes dont les initiales commencent par Z ou W sont très sensibles aux classements alphabétiques, alors que ce n’est pas vraiment le cas de leurs amis aux initiales A ou B.
• À l’université, les examens importants et les devoirs sont traités à l’aide de numéros de candidat anonymisés. Ce n’est pas un anonymat complet, mais cela apporte une certaine intégrité au système.
• Lors de la correction, il arrive qu’on ne voie pas certaines erreurs ou réponses inattendues au début, puis qu’on les découvre plus tard, ce qui oblige à revenir sur des copies précédentes pour les recorriger.
• Faire de l’ordre aléatoire le paramètre par défaut pourrait aider à réduire les biais. Mais les étudiants corrigés en dernier risqueraient malgré tout d’obtenir des notes plus basses.
• L’épouse d’un commentateur n’aimait pas être toujours en fin de liste parce que son nom de famille commençait par Y. Pour leurs enfants, ils ont donc mis d’abord le nom du mari, qui commence par E, puis un nom composé avec un trait d’union. Leurs prénoms commencent aussi par A et B afin d’apparaître plus tôt dans les tris.
• Dans Journal d’un dégonflé, il est dit que les enfants dont le nom de famille se situe au début de l’alphabet s’assoient au premier rang, reçoivent plus de questions et apprennent davantage.
• Un père d’élève dont le nom de famille se situe en fin d’alphabet explique que, dans la classe de son fils, lorsque l’enseignant fait les revues de projet par ordre alphabétique, environ 40 % des élèves de la fin ne sont parfois même pas traités. Mais comme tous les élèves ne vont pas spontanément voir l’enseignant, cela peut conduire à de moins bons résultats.
• Quelqu’un se demande pourquoi Helen Wang a choisi d’étudier précisément ce sujet.