Réexamen de l’effet irrationnel du « juge affamé » (2023)
(cambridge.org)- Le résultat célèbre selon lequel, au sein d’une commission israélienne de libération conditionnelle, la proportion de décisions favorables chute puis remonte autour des pauses pourrait être fortement amplifié non seulement par une véritable distorsion du jugement, mais aussi par un artefact statistique
- L’étude originale interprétait les données comme une baisse d’environ 65 % de décisions favorables au début d’une session à presque 0 % pour la dernière décision, puis un retour à 65 % après une pause repas, en reliant cela à un possible épuisement mental
- Le point clé de la réanalyse est que les décisions favorables prennent plus de temps que les décisions défavorables ; dans les données de DLA, une décision favorable durait en moyenne 7,37 minutes, contre 5,21 minutes pour une décision défavorable, ce qui peut faire qu’il reste moins d’affaires favorables dans l’échantillon en fin de session
- En supposant qu’un juge rationnel reporte à la session suivante les affaires difficiles à terminer dans le temps restant, une courbe descendante proche de celle de DLA apparaît même si l’ordre des affaires est aléatoire, et le retrait des 5 % finaux de chaque session accentue encore cet effet
- Les seules données originales ne suffisent pas à conclure que des facteurs exogènes ont fortement biaisé les décisions juridiques ; il faut distinguer des facteurs comme une gestion rationnelle du temps et une répartition non aléatoire des affaires des effets d’ordre ou de faim
Résultat original du « juge affamé »
- Danziger, Levav et Avnaim-Pesso (DLA) ont analysé 1 112 décisions d’une commission israélienne de libération conditionnelle et ont estimé que la position d’une affaire dans la session était liée à la probabilité d’une décision favorable
- Cette commission tenait trois sessions par jour, séparées par une collation en fin de matinée et une pause déjeuner
- L’analyse couvrait environ 40 % des demandes de libération conditionnelle en Israël
- Le résultat central de DLA était qu’environ 65 % des premières décisions de chaque session étaient favorables, mais que ce taux tombait à presque 0 % pour la dernière décision
- Après une pause repas, la proportion de décisions favorables revenait à environ 65 % dans la session suivante
- DLA l’interprétait avec prudence comme la possibilité qu’après des décisions répétées, les juges, fatigués, affamés ou en état d’épuisement mental, adoptent plus facilement une stratégie de statu quo consistant à refuser les demandes
- Cet effet a été largement cité en psychologie, en droit et en économie, car il suggère que des décisions juridiques peuvent être influencées par des facteurs juridiquement non pertinents comme l’ordre des affaires ou la présence d’un repas
- Au 27 février 2015, l’article comptait 222 citations sur Google Scholar
Doutes sur l’ampleur de l’effet
- L’ampleur de la baisse observée par DLA est très importante
- Le passage de 65 % à 5 % de décisions favorables correspond à un odds ratio de 35 ou à une différence moyenne standardisée de d = 1,96
- C’est plus du double du seuil habituellement considéré comme un « grand effet »
- Cette taille d’effet est particulièrement frappante si on la compare à l’hypothèse d’un épuisement mental
- L’estimation corrigée du biais de publication par Carter et McCullough se situe entre d = –0,10 et 0,25, ce qui suggère en moyenne seulement un petit effet
- Une réplication multi-labos préenregistrée menée dans 23 laboratoires, avec N = 2 142, a trouvé d = 0,04, sans différence significative avec 0
- Si l’effet DLA provient réellement d’un épuisement mental, cela signifierait qu’un phénomène bien plus fort que celui attendu dans les études en laboratoire apparaît dans un contexte judiciaire réel
Variables de confusion liées à l’ordre des affaires et au moment des pauses
- Pour défendre un effet d’ordre des affaires, il faut que leur répartition soit aléatoire, ou bien qu’aucun facteur caché non inclus dans l’analyse ne détermine à la fois l’ordre et la décision
- DLA estimait que les résultats tenaient après contrôle de variables comme la gravité du crime, les incarcérations antérieures, le nombre de mois déjà purgés, la participation à des programmes de réinsertion ou encore le taux antérieur de décisions favorables
- Weinshall-Margel et Shapard ont contesté le caractère aléatoire de l’ordre des affaires sur la base d’entretiens informels avec des acteurs de la procédure de libération conditionnelle
- Selon eux, les détenus sans avocat passaient généralement plus tard dans la session et avaient moins de chances d’obtenir une libération conditionnelle que ceux qui étaient représentés
- DLA a répondu que la tendance à la baisse subsistait même en contrôlant la présence d’un avocat, sans toutefois indiquer si l’ampleur de l’effet restait inchangée
- Le moment exact des pauses est lui aussi une variable importante
- DLA considérait que les caractéristiques des affaires ne permettaient pas de prédire le moment des pauses
- Mais les entretiens rapportés par Weinshall-Margel et Shapard suggèrent que les juges pouvaient planifier l’achèvement d’un lot d’affaires — par exemple toutes les affaires d’une même prison — dans une seule session
Attrition sélective et gestion rationnelle du temps
- La réanalyse part du constat que les décisions favorables prennent plus de temps que les décisions défavorables
- Dans les données de DLA, une décision favorable durait en moyenne 7,37 minutes, avec un écart-type de 5,11 minutes
- Une décision défavorable durait en moyenne 5,21 minutes, avec un écart-type de 4,97 minutes
- Le nombre d’affaires traitées par session n’était pas constant
- La session du matin comportait en moyenne 7,8 affaires, avec un écart-type de 4,51, un minimum de 2 et un maximum de 28
- La session après la collation et avant le déjeuner comportait en moyenne 11,4 affaires, avec un écart-type de 5,14, un minimum de 2 et un maximum de 25
- Si les décisions favorables prennent plus de temps, les affaires susceptibles d’aboutir à une décision favorable peuvent sortir sélectivement de l’échantillon au fur et à mesure qu’on approche de la fin de session
- Les sessions composées surtout de décisions défavorables peuvent traiter davantage d’affaires
- Parmi les observations de rang élevé, il reste proportionnellement plus d’affaires provenant de sessions riches en décisions défavorables
- Le fait qu’un juge évite de commencer juste avant une pause une affaire susceptible de prendre longtemps peut relever d’une gestion rationnelle du temps
- Le volume du dossier, le type de demande, la présence d’un avocat, ainsi que des indices de surface liés à l’avocat, à la prison ou au détenu peuvent déjà donner une idée du temps de traitement probable
- Cette planification ne suppose pas nécessairement que le juge connaisse à l’avance le fond juridique de l’affaire ni son issue
Simulation du juge rationnel
- La simulation suppose un juge idéal fictif qui décide sans erreur ni biais
- Le juge se fixe une limite de temps approximative par session et, si l’affaire suivante risque de la dépasser, il la reporte au début de la session suivante au lieu de la traiter immédiatement
- La simulation génère 10 000 affaires en ordre aléatoire
- Le taux de base des affaires donnant lieu à une décision favorable est fixé à 36 %, contre 64 % pour les décisions défavorables
- Le temps de décision reflète la différence moyenne de durée entre affaires favorables et défavorables, avec un bruit suivant une loi normale ou une loi de Weibull à asymétrie positive
- La limite de temps de chaque session est fixée à 60 minutes
- Même avec un ordre aléatoire des affaires et un juge rationnel, on observe une forte baisse de la probabilité de décision favorable à mesure qu’on avance dans la session
- Les résultats sont qualitativement similaires avec la loi normale et la loi de Weibull
- Aux rangs élevés, le faible nombre d’observations rend les estimations instables, ce qui peut produire des pics à 0 % ou à des niveaux élevés
- Ce mécanisme vient du fait que, plus le temps restant diminue, plus il devient difficile d’inclure des affaires favorables dans la session
- Dans l’exemple donné, avec 15 minutes restantes, la plupart des affaires favorables comme défavorables peuvent encore être lancées
- Avec 5 minutes restantes, seulement 12 % des affaires favorables peuvent encore entrer dans la session, contre 46 % des affaires défavorables
- En fin de session, la proportion relative d’affaires favorables dans l’échantillon diminue donc
Hausse en début de session et censure des données
- Dans la simulation comme dans les données de DLA, la proportion de décisions favorables sur la première affaire de la session apparaît plus élevée que le taux de base
- Comme une session a davantage de chances de se terminer juste avant une décision favorable, la masse de probabilité des affaires favorables exclues en fin de session se reporte sur la première décision de la session suivante
- S’il existe parfois une planification par lots d’affaires, cela peut aussi expliquer pourquoi les deuxième et troisième décisions dépassent elles aussi le taux de base
- DLA a retiré les 5 % dernières affaires de chaque session pour limiter le problème des petits échantillons aux rangs élevés
- Dans la simulation de réanalyse, cette censure accroît l’ampleur de la baisse au lieu de la réduire
- Elle augmente artificiellement l’attrition sélective
- Il faut donc éviter cette censure lorsqu’on analyse l’effet du rang sur la proportion de décisions favorables
- Les données de DLA présentent aussi une autocorrélation positive entre décisions successives
- Dans la simulation, l’ajout d’une autocorrélation d’ordre 1 de r = .10 ne modifie pas sensiblement la taille de l’artefact
En l’absence de prédiction préalable
- Les simulations précédentes supposent que le juge peut estimer à l’avance la durée probable de l’affaire suivante et décide de ne pas la commencer si elle dépasse la limite de la session
- DLA indiquait pourtant que les membres de la commission ne connaissaient pas à l’avance les détails de l’affaire suivante, de sorte qu’une prédictibilité complète peut être une hypothèse forte
- La réanalyse teste aussi le cas où, sans capacité de prédiction, le juge s’arrête seulement après avoir dépassé la limite de temps
- Sans censure ni autocorrélation, l’artefact disparaît
- Avec censure et autocorrélation, l’effet de baisse réapparaît
- La raison est que les décisions favorables prennent plus de temps et ont donc davantage de chances d’être coupées par la limite temporelle
- Si l’on retire les 5 % finaux, la dernière affaire disparaît souvent, et cette dernière affaire a plus de chances d’être favorable que défavorable
- Dans cette condition sans prédiction, la baisse créée par la censure est d’environ 15 %, plus faible que dans la simulation avec prédiction
Limites restantes et conclusion
- La réanalyse n’exclut pas que l’ordre des affaires ou l’épuisement mental aient pu influencer les données judiciaires de DLA
- Elle montre cependant qu’une part importante de la forte baisse observée peut apparaître sans facteurs exogènes, simplement avec une gestion rationnelle du temps et une attrition sélective
- La gestion rationnelle du temps et l’attrition sélective n’expliquent pas toutes les caractéristiques des données de DLA
- La taille de l’effet simulé reste un peu plus faible que l’effet original
- Dans les données originales, le taux en début de session n’était pas de 45 % mais de 65 %, et surtout le taux au début de la première session de la journée est difficile à expliquer par ce seul mécanisme
- L’effet du temps en tant que tel rapporté par DLA ne se laisse pas facilement expliquer par un simple artefact lié au rang
- La courbe empirique est plus lisse, tandis que la courbe simulée baisse plus fortement au début et à la fin et reste plus plate au milieu
- Si, dans le cadre DLA, la prédiction directe de l’affaire suivante était effectivement limitée, la part de la baisse explicable par une gestion rationnelle du temps est estimée entre 15 % et 45 %
- Les données originales n’ont pas pu être réanalysées plus finement
- Les auteurs de DLA se disaient prêts à partager les données, mais l’entité qui leur avait d’abord accordé l’accès l’aurait empêché
- Les conditions exactes de décision n’ont pas non plus pu être entièrement reconstruites, si bien que plusieurs points restent ouverts à de futures recherches
- L’effet d’ordre et l’effet d’épuisement mental de l’étude originale ont pu être surestimés
- Une gestion rationnelle du temps autour des pauses, un ordre non aléatoire favorisant d’abord les affaires avec avocat, et d’éventuels effets réels d’ordre ou d’épuisement mental peuvent être entremêlés
- Une fois ces effets dissociés, les estimations de l’effet d’ordre ou de l’épuisement mental seraient probablement plus faibles
- Plus largement, des comportements qui paraissent irrationnels peuvent reposer sur des mécanismes rationnels contre-intuitifs
- Les simulations informatiques et l’analyse mathématique formelle sont des outils utiles pour mettre en évidence cette possibilité
- Avant de conclure qu’un acteur juridique ou qu’un individu se comporte de manière fortement irrationnelle, il faudrait recourir plus tôt et plus systématiquement à des simulations d’acteurs rationnels et à des analyses formelles
1 commentaires
Commentaires sur Hacker News
L’étude originale semble avoir été défectueuse, car elle ne tenait pas compte de l’ordre de traitement des affaires
Elle omettait le fait que les affaires les moins graves étaient examinées en premier, tandis que les affaires plus graves, c’est-à-dire celles entraînant des sanctions plus lourdes, étaient repoussées plus tard
« Danziger et al. s’appuient fortement sur l’hypothèse selon laquelle l’ordre des affaires est aléatoire et donc indépendant du processus de décision. Cette hypothèse a été vigoureusement réfutée. Keren Weinshall-Margel et John Shapard, dans une réponse courte et très critique publiée dans PNAS, ont analysé les données de l’étude originale ainsi que d’autres données qu’ils avaient collectées directement, et ont mené des entretiens supplémentaires avec le personnel judiciaire concerné. Ils soulignent que l’ordre des affaires n’est pas aléatoire. Les formations essaient de traiter toutes les affaires d’une même prison avant une pause, puis passent aux affaires de la prison suivante après la pause. En particulier, les demandes de détenus sans avocat sont généralement traitées à la fin de chaque session. Ainsi, les détenus sans représentation juridique ont moins de chances d’obtenir une décision favorable que ceux qui en ont une. De plus, les avocats représentent souvent plusieurs détenus et choisissent l’ordre de présentation des affaires ; il est tout à fait possible qu’ils commencent par les dossiers les plus solides »
[1] Chatziathanasiou, K., 2022. Beware the lure of narratives:“hungry judges” should not motivate the use of “artificial intelligence” in law. German Law Journal, 23(4), pp.452-464
Ne faudrait-il pas plutôt attribuer les affaires au hasard ?
C’est intéressant. L’étude originale était connue pour conclure que les juges étaient plus cléments juste après le déjeuner, et les plus sévères juste avant
Cette nouvelle étude conteste la force de cette conclusion en montrant que les décisions positives prennent plus de temps, et qu’avant une pause on peut intercaler davantage de décisions négatives simples. Ici, une décision négative correspond à un refus de libération conditionnelle, donc elle se règle plus vite
Autrement dit, les juges n’ont pas envie de commencer juste avant une pause des affaires complexes susceptibles d’aboutir à une issue favorable. J’ai cité l’étude originale d’innombrables fois, mais ce réexamen apporte beaucoup plus de contexte
Si c’était vrai, les accidents de la route devraient augmenter massivement autour de l’heure du déjeuner, au point qu’il serait logique, par simple bon sens, d’interdire de conduire juste avant midi
« Si la faim avait sur nos ressources mentales un effet d’une telle ampleur, la société sombrerait chaque jour dans un petit chaos à 11 h 45. À tout le moins, la société se serait organisée autour de cet effet incroyablement puissant d’épuisement mental. »
https://daniellakens.blogspot.com/2017/07/impossibly-hungry-...
Dans un registre similaire, il existe aussi une étude célèbre sur la corrélation entre le passage à l’heure d’été et l’augmentation des crises cardiaques [0]
[0] https://www.sciencedirect.com/science/article/pii/S254245482...
Articles liés :
Do judges give out tougher sentences when hungry? A study too good to be true - https://news.ycombinator.com/item?id=35491060 - avril 2023, 202 commentaires
Impossibly Hungry Judges - https://news.ycombinator.com/item?id=22020716 - janvier 2020, 1 commentaire
Rebuttal to hungry judges give harsher sentences - https://news.ycombinator.com/item?id=19958435 - mai 2019, 1 commentaire
Impossibly Hungry Judges (2017) - https://news.ycombinator.com/item?id=18112378 - octobre 2018, 58 commentaires
Impossibly Hungry Judges - https://news.ycombinator.com/item?id=14701328 - juillet 2017, 70 commentaires
Do hungry judges give harsher sentences? - https://news.ycombinator.com/item?id=2438189 - avril 2011, 1 commentaire
https://hn.algolia.com/?dateRange=all&page=0&prefix=false&qu...
https://hn.algolia.com/?dateRange=all&page=0&prefix=false&qu...
Les statistiques portant sur des objets de longueurs différentes sont délicates. Ça me rappelle l’époque où je faisais de l’échantillonnage de paquets sur un LAN
La distribution des longueurs était bimodale, et les calculs statistiques fondés sur la moyenne induisaient en erreur
Il existe quelques astuces pour résoudre cela, et le terme courant est « periodogram »
https://en.wikipedia.org/wiki/Least-squares_spectral_analysi...
https://www.mathworks.com/help/signal/ug/spectral-analysis-o...
C’est étrange que personne ne cite The Rape of the Lock d’Alexander Pope
“The hungry judges soon the sentence sign,
And wretches hang that jury-men may dine;”
(https://rpo.library.utoronto.ca/content/rape-lock-canto-3)
Je n’avais jamais vu ça, c’est intéressant. Comme j’ai déjà vu quelque chose de similaire à propos du tabac, je me demande maintenant s’il existe aussi un effet du juge dépendant, par exemple au tabac
Dans quelle mesure les échecs actuels de réplication pourraient-ils venir du fait que les sujets observés connaissent le phénomène et le corrigent consciemment ?
https://daniellakens.blogspot.com/2017/07/impossibly-hungry-...
L’effet original était déjà connu comme une corrélation fallacieuse au moment de sa publication
Il semble s’agir d’une étude montrant que, lorsqu’il y a une contrainte de temps, même des juges rationnels essaient de traiter les affaires plus vite et peuvent pencher vers des décisions défavorables
L’heure du déjeuner, et probablement l’heure de fin de journée, étant de telles contraintes temporelles, on observe que les décisions favorables diminuent à mesure que le déjeuner approche, puis remontent juste après
Pourtant, je trouve étrange que l’étude dise que « l’analyse de DLA ne fournit pas de preuve décisive en faveur de l’hypothèse selon laquelle des facteurs externes influencent les décisions juridiques ». Si l’heure du déjeuner et l’heure de départ ne sont pas des facteurs externes, alors qu’est-ce que c’est ?
Cela dit, l’explication ci-dessus ne rend compte que d’une partie de la découverte initiale, et l’étude reconnaît aussi que d’autres facteurs jouent un rôle
Les juges rationnels simulés sont « idéaux », et leurs décisions ne sont pas influencées par l’ordre des affaires ni par le temps écoulé depuis la pause
Ce que dit l’étude, c’est que malgré ce comportement parfait, dans certaines méthodes de simulation déterminant quand prendre les pauses, les affaires favorables peuvent avoir davantage de chances d’être attribuées au début d’une session. Dans la dernière simulation, cet effet n’apparaît qu’après avoir appliqué le même traitement statistique que dans l’étude originale
Depuis que j’ai lu l’étude originale, je n’ai pas organisé de réunions avant le déjeuner pendant des années, mince
Plus sérieusement, moi je fais l’inverse. C’est pour éviter que les gens déraillent à cause de la faim et pour ne pas couper la matinée en deux blocs interrompus
Il serait intéressant de comparer avec les cas où le résultat par défaut est l’inverse
Le détenu est en prison et y reste
Si le système était conçu de sorte que le détenu soit libéré lorsque les juges ne justifient pas pourquoi il devrait rester incarcéré, le résultat serait-il différent ? Bien sûr, cela semble assez complexe