Une étude de l’université du Michigan montre que les étudiants dont le nom de famille est en fin d’alphabet obtiennent des notes plus basses
(record.umich.edu)- Des chercheurs de l’université du Michigan ont analysé plus de 30 millions d’enregistrements de notation sur Canvas et constaté que les étudiants dont le nom de famille se situe vers la fin de l’alphabet ont tendance à obtenir des notes plus faibles
- La cause principale est le tri par défaut de Canvas, qui affiche les devoirs par ordre alphabétique du nom de famille, ainsi que le biais séquentiel qui apparaît lorsque les correcteurs évaluent les travaux dans cet ordre
- Les étudiants dont le nom de famille commence par A à E obtiennent 0,3 point de plus sur 100 que dans une correction aléatoire, tandis que ceux dont le nom se situe en fin d’alphabet obtiennent 0,3 point de moins, soit un écart total de 0,6 point
- Chez environ 5 % des correcteurs qui notent de Z vers A, l’écart s’inverse, ce qui étaye l’idée que c’est l’ordre de correction, plus que le nom lui-même, qui produit cette différence de note
- Même si un écart de 0,6 point peut sembler faible, il peut affecter le GPA de la matière et les opportunités de carrière, d’où la nécessité de faire de la correction aléatoire le réglage par défaut et de réduire la charge de correction dans les grands cours
L’écart lié à l’initiale du nom créé par le tri par défaut de Canvas
- Des chercheurs de l’université du Michigan ont collecté toutes les données historiques de notation disponibles sur Canvas pour l’ensemble des programmes, étudiants et devoirs, du semestre d’automne 2014 au semestre d’été 2022
- L’analyse porte sur plus de 30 millions d’enregistrements de notation, complétés par les données du service de la scolarité sur le profil des étudiants, leur démographie et leur parcours académique
- Les étudiants dont le nom de famille se situe plus loin dans l’alphabet reçoivent des notes plus basses, des retours plus négatifs et moins polis, ainsi qu’une qualité de correction plus faible mesurée à travers les réclamations étudiantes
- L’article associé est 30 Million Canvas Grading Records Reveal Widespread Sequential Bias and System-Induced Surname Initial Disparity et est en cours d’évaluation par Management Science
Comment fonctionne le biais de correction séquentielle
- Canvas trie par défaut les copies des étudiants par ordre alphabétique du nom de famille
- Cette conception par défaut ne se limite pas à un cours précis et peut se diffuser à de nombreux établissements et matières utilisant un système de gestion de l’apprentissage
- On observe un schéma dans lequel la qualité de correction baisse à mesure que le correcteur évalue davantage de travaux
- Selon Wang, les étudiants dont le nom de famille commence par A, B, C, D ou E obtiennent 0,3 point de plus sur 100 que s’ils étaient corrigés dans un ordre aléatoire, tandis que ceux dont le nom est en fin d’alphabet obtiennent 0,3 point de moins
L’effet inverse observé lors d’une correction en ordre décroissant
- Environ 5 % des correcteurs corrigent de Z vers A
- Dans ce cas, l’écart s’inverse comme prévu
- Les étudiants dont le nom commence par A-E sont désavantagés
- Les étudiants dont le nom commence par W-Z obtiennent des notes plus élevées qu’avec une correction aléatoire
- Cette observation renforce l’interprétation selon laquelle la cause de l’écart initial n’est pas le nom lui-même, mais l’ordre de correction
L’impact sur les étudiants d’un petit écart de note
- Un écart de 0,6 point peut sembler faible, mais il affecte le GPA de la matière de l’étudiant
- Un changement de GPA peut aussi avoir un impact négatif sur les opportunités de carrière de chaque étudiant
- Wang explique qu’un phénomène survenu inconsciemment chez les correcteurs peut déboucher sur de réels effets sociaux
L’idée de recherche et le facteur de fatigue
- L’idée de l’étude est née d’une discussion entre les recherches de Wang sur les technologies éducatives et celles de Pei sur l’intelligence artificielle
- Pei a remarqué que le data labeling, tâche de base du machine learning, est lui aussi un long travail séquentiel et répétitif, mais qu’il est randomisé
- Cette observation a conduit à une étude pilote examinant le lien entre le temps de correction et les écarts de notes dans des systèmes éducatifs comme Canvas
- Lors de longues sessions de travail, la fatigue s’accumule et l’attention ainsi que les capacités cognitives diminuent, ce qui fait de la fatigue l’un des principaux facteurs possibles de cet effet
Les pistes d’amélioration proposées
- Canvas propose une option pour corriger les devoirs dans un ordre aléatoire, et certains enseignants l’utilisent
- Mais le mode par défaut de Canvas et d’autres systèmes de gestion de l’apprentissage en ligne reste l’ordre alphabétique
- La solution la plus simple consiste à faire de l’ordre aléatoire le réglage par défaut
- D’autres alternatives sont également proposées aux établissements universitaires
- recruter davantage de correcteurs pour les grands cours
- répartir la charge de correction entre plus de personnes
- proposer une formation pour reconnaître et réduire les biais pendant la correction
1 commentaires
Commentaires sur Hacker News
Je travaille dans le milieu universitaire. Lors de la correction d’examens, l’ordre de la pile de copies est celui dans lequel elles ont été ramassées dans la salle, et en général cinq personnes se réunissent dans une pièce, chacune ne corrigeant qu’une question précise afin de maintenir la cohérence
Chacun prend la pile, cherche les copies dont sa question n’a pas encore été corrigée et les extrait, si bien que les copies sont beaucoup mélangées ; l’ordre réel de correction peut être considéré comme presque aléatoire
En revanche, pendant le semestre, les devoirs hebdomadaires sont commités dans un dépôt, avec des dossiers par étudiant commençant par la première lettre de leur nom. Nous étions tous d’accord pour dire qu’il fallait mélanger chaque semaine l’ordre de correction par souci d’équité. Au début, on est moins fatigué, et vers les deux dernières copies on se sent mieux en se disant que c’est bientôt fini ; surtout au début, on n’a pas encore vu toutes les erreurs fréquentes, on n’a pas encore le bon ressenti et on en laisse passer, alors que dans les rendus plus tardifs on les repère immédiatement
Autre effet alphabétique : à l’école primaire, comme j’étais tout en haut de la liste de classe, on me confiait souvent des choses comme tenir le billet de groupe au musée, noter quelque chose, faire en premier devant tout le monde une tâche que personne ne voulait commencer, ou passer en premier aux évaluations d’EPS. J’étais un enfant assez timide, donc ça m’agaçait dès le CP
Ainsi, les étudiants ayant fait la même erreur recevaient la même note. À chaque question terminée, l’ordre des copies avait aussi tendance à se mélanger naturellement
Ce n’est pas nécessaire pour de simples QCM et ça ne convient pas vraiment aux longues dissertations, mais pour des questions techniques à réponse courte en informatique et en sécurité, cela fonctionnait très bien
L’idée est qu’il faut avoir vu toutes les erreurs une première fois avant de pouvoir juger à quel point chacune est réellement grave
Et pourtant j’ai eu 80 %, sans la moindre note ni marque
Depuis 25 ans, je me demande sans cesse dans quelle mesure les travaux des élèves sont réellement examinés
Je travaille dans l’EdTech, et chaque fois qu’on ajoute une fonctionnalité nécessitant une revue manuelle des travaux d’élèves par les enseignants, on voit que certains enseignants sont très consciencieux et que d’autres n’y touchent pas du tout
Le premier stylo rouge servait à signaler les problèmes ponctuels comme les fautes d’orthographe ou les erreurs d’usage manifestes. Ce processus donne naturellement une idée du niveau global d’écriture et permet de parcourir rapidement tous les textes
Le deuxième stylo vert servait surtout à marquer dans la marge les endroits où apparaissait un bon argument ou où une conclusion était atteinte, en préparation de l’étape suivante. Cela aussi était appliqué à tous les textes
Avec le troisième stylo bleu, j’évaluais et critiquais la qualité du texte. Je laissais parfois de brèves notes dans la marge ou un commentaire à la fin de la dissertation
Les étudiants souriaient parfois en voyant les jolies couleurs, mais quand j’expliquais la méthode et ses raisons, ils comprenaient clairement, et je crois qu’ils en étaient peut-être même reconnaissants
C’est peut-être lié ou non, mais quand j’étais à l’école, de la maternelle au lycée, dans les années 80 et au début des années 90, on nous plaçait toujours de l’avant vers l’arrière par ordre alphabétique du nom de famille. Les enfants dont le nom commençait vers A-D étaient toujours devant, ceux vers U-Z toujours au fond, et c’était le cas dans tous les cours
Je me souviens que beaucoup de mes amis avaient un nom proche du mien, parce que nous étions toujours assis près les uns des autres. Arrivé au lycée, il m’a semblé qu’il y avait nettement plus d’élèves très performants parmi ceux dont le nom était en A-D, et davantage de perturbateurs du côté U-Z
Était-ce le résultat du fait d’être assis près de l’enseignant et de recevoir plus d’attention ? Ce n’était pas une expérience et il n’y avait pas de groupe témoin, donc impossible de savoir
Beaucoup de mes amis portaient aussi des lunettes, et comme les lunettes ne corrigeaient pas parfaitement leur vue, ils préféraient les places de devant
Bien sûr, on pourrait dire que les élèves qui avaient commencé devant la première semaine gardaient un avantage, mais il n’était probablement pas si important
Comme mes initiales sont Z et W, je suis souvent conscient du tri alphabétique. J’ai demandé à un ami dont les initiales sont A et B, et il m’a dit qu’il n’y avait jamais prêté attention
Je n’ai pas ressenti de différence dans les notes ou les classements, mais j’ai entendu beaucoup plus souvent « il n’y en a plus / le temps est écoulé avant que ton tour arrive », ce qui m’a rendu bien plus sensible aux questions de planification et d’organisation
J’étais tout à la fin de l’alphabet, et c’était déjà un problème quand il fallait choisir un livre à lire. On pouvait choisir son livre, mais c’était toujours dans l’ordre alphabétique, donc quand mon tour arrivait il ne restait que quelques livres et tous les plus populaires avaient disparu
Quand mon tour est enfin venu de récupérer des billes, il n’y en avait plus. Quand j’ai demandé « Où sont mes billes ? », l’enseignant a haussé les épaules et a dit « Il n’y en a plus ». Je devais avoir environ 7 ans, j’ai beaucoup pleuré et je crois que d’autres enfants m’ont donné quelques billes, mais au fond les billes elles-mêmes n’étaient pas le sujet
Je ne comprends toujours pas comment on pouvait s’attendre à autre chose qu’à ce résultat
Un jour, l’enseignant a dit quelque chose comme « aujourd’hui, on inverse l’ordre, mais on se range aussi par prénom ». Mon prénom commençait par A, donc je me suis retrouvé encore une fois tout au bout, ce qui a beaucoup amusé tout le monde
Dans notre université, presque toute la notation était pseudonymisée. Au début de chaque année, on recevait un numéro de candidat aléatoire, et on l’inscrivait sur les devoirs ou examens importants
Pour les travaux moins importants, on n’allait souvent pas jusque-là et on utilisait le numéro d’étudiant, mais l’idée de base était la même
À l’exception des mémoires et de quelques petits devoirs qui n’avaient pas d’effet sur la note finale, on n’écrivait pas son nom. Lever l’anonymat n’était pas si difficile, mais cela donnait un peu plus d’intégrité au système
C’est une méthode très simple à mettre en œuvre, je ne comprends pas pourquoi elle n’est pas utilisée plus souvent
Il me semble que notre environnement d’apprentissage virtuel triait aussi les devoirs par ordre de soumission, plutôt que selon un identifiant quelconque
Cela résout les biais envers une personne, mais pas ceux liés à la manière dont les copies sont ordonnées
Il semble préférable d’utiliser à la fois des identifiants aléatoires et un ordre de tri aléatoire
En revanche, je suis moins convaincu que les propositions de conférence en aveugle soient une bonne idée. Si, par expérience passée, on sait qu’une personne va presque certainement faire un carton, je suis moins tenté de choisir, sur le même sujet, quelqu’un au hasard qui n’a pas de qualification évidente. Bien sûr, ne choisir que les amis du comité peut clairement aller trop loin
Même si les noms d’utilisateur semblaient aléatoires, certains ont commencé à se construire une réputation sur le forum de discussion du cours, et les étudiants ont aussi fini par en reconnaître quelques-uns
Cela dit, en informatique, les critères de notation sont généralement très objectifs, donc je ne sais pas trop à quel point l’anonymat comptait
On dit qu’« une solution simple consiste à faire de l’ordre aléatoire le réglage par défaut », mais cela signifie que le biais devient aléatoire. L’étudiant noté en dernier recevra probablement toujours une note plus basse
D’après mon expérience de tuteur, ce biais existe clairement. Mais il ne transforme pas une réponse complètement fausse, ni une excellente réponse correcte, en autre chose
Avec le temps, j’ai fini par savoir quels étudiants étaient en difficulté et lesquels réussissaient bien. Si un bon étudiant se trompait, c’est qu’il se passait quelque chose d’important, donc je parcourais d’abord rapidement sa copie ; puis je regardais les problèmes des étudiants en difficulté, ensuite je notais le reste dans l’ordre de réception, et enfin je revenais aux étudiants en difficulté et aux bons étudiants. Il me fallait une ligne de base pour voir à quel point les pires réponses étaient réellement mauvaises. Certaines copies étaient un peu comme des aventures fortuites
Écrit comme ça, cela paraît totalement froid et détaché, mais se concentrer, dans les exercices, sur le tiers inférieur et transmettre aux assistants et aux professeurs où ces étudiants bloquaient était très utile pour tout le monde, surtout pour eux. Cela permettait de consolider correctement les bases importantes
Quand j’ai corrigé pour la première fois il y a quelques mois, j’ai ressenti ça aussi
Les premières réponses que j’ai corrigées ne faisaient pas certaines erreurs, ou répondaient de la manière attendue ; puis, quand je rencontrais plus tard des réponses inattendues ou des erreurs, je devais repenser les notes déjà attribuées. Par exemple, la réponse de quelqu’un pouvait me faire penser qu’une réponse que j’avais jugée fausse était en réalité moins fausse que je ne le pensais
Comme c’était un petit cours, je pouvais revenir en arrière, et comme l’ordre de soumission était déjà un peu mélangé, j’ai corrigé ainsi ; sinon, cela aurait clairement créé un biais
Il m’a fallu voir plusieurs fois un bug très courant pour le réévaluer, et il s’est avéré que c’était une erreur facile à faire
Ou bien je découvrais qu’un nouveau bug que je n’avais pas remarqué au départ était assez fréquent. Dans ce cas, il fallait mettre à jour les tests et les relancer pour tout le monde
J’essayais d’être assez rigoureux et je finissais souvent par repasser toute la pile, mais c’était vraiment pénible. J’aurais pu faire ça approximativement, mais comme les étudiants y avaient consacré des semaines, j’avais le sentiment de leur devoir un feedback honnête
Du coup, la notation avait aussi tendance à devenir plus indulgente. Si l’on vérifie paresseusement seulement quelques bugs, on retire beaucoup de points pour chaque problème, ce qui n’est pas juste pour les étudiants qui sont tombés par hasard sur les bugs attendus. Quand on trouve tous les bugs, on n’a pas d’autre choix que de ne retirer que quelques points par bug pour ne pas ruiner la note de tout le monde
Je suis dans la même situation et je fais exactement pareil. Comme je ne me fais pas confiance pour produire à la main un vrai ordre aléatoire, je m’appuie sur la très faible part d’aléatoire que donne l’ordre de soumission
C’est en fait pour cette raison que nos enfants portent ce nom de famille
Mon nom commence par E et celui de ma femme par Y. Contrairement à la tradition, ma femme n’a pas changé de nom au moment du mariage, et quand nos enfants sont nés, nous avons dû décider quel nom leur donner. Nous avons choisi un nom composé avec trait d’union
Historiquement, les noms composés avec trait d’union étaient dans l’ordre nom de la femme - nom de l’homme. Mais en grandissant, ma femme n’aimait pas que son nom soit situé vers la fin de l’alphabet
Nous avons donc de nouveau rompu avec la tradition et placé mon nom en premier, afin que nos enfants apparaissent plutôt au début dans les tris alphabétiques. En plus, leurs prénoms commencent par A et B, donc ils apparaissent aussi vers le début lorsqu’on trie par prénom
Si vous voulez vraiment rompre avec la tradition, ne vous mariez pas : vivez simplement ensemble et ayez des enfants
Au fond, y a-t-il quelque chose de plus traditionnel que le mariage ?
Mon nom de famille commence par une lettre vers la fin de l’alphabet, donc je remarque toujours ce genre de choses. Cette année, par exemple, mon fils suit au lycée un cours où il a besoin du feedback régulier de l’enseignant sur un projet de longue haleine.
L’enseignant examine les projets par ordre alphabétique des noms de famille, mais dans environ 40 % des cas, il n’arrive pas jusqu’au bas de la classe et dit aux élèves de venir le voir après les cours s’il y a un problème. Or, vu la nature du projet, les commentaires proactifs de l’enseignant sont indispensables.
Je dis donc à mon fils d’aller voir l’enseignant pour obtenir une relecture proactive, même s’il n’y a pas de problème, mais tous les enfants ne le font pas, ce qui peut les conduire à obtenir une note plus basse.
Je me demande pourquoi Helen Wang a choisi ce sujet de recherche.
Cela me fait penser aux graves conséquences involontaires du tri.
C’est similaire à l’effet du juge affamé [1]. Il s’agit de l’effet selon lequel les juges ont tendance à être plus sévères avant une pause et plus cléments après.
[1] https://en.m.wikipedia.org/wiki/Hungry_judge_effect