- Un article de Management Science affirmant la surperformance des entreprises très durables a été maintenu sans correction ni sanction, alors même qu’il utilisait une méthode d’analyse différente de celle décrite
- Malgré les demandes de rectification du lanceur d’alerte Andy King, la revue, plusieurs universités et des organismes d’intégrité scientifique ont constamment opposé évitement des responsabilités et absence de réponse
- Andrew Gelman critique, à travers ce cas et d’autres, l’absence de sanctions et la structure d’autoprotection du monde académique, et propose sur le mode satirique une université fictive baptisée « Second Chance U »
- Dans les commentaires du blog, les discussions portent activement sur l’effet cumulatif de la critique publique, l’usage d’outils d’IA, la formalisation des procédures de signalement des erreurs d’articles et la création de plateformes alternatives
- Cette affaire est considérée comme un exemple révélant l’impuissance structurelle du monde académique face aux fautes de recherche et la nécessité de renforcer la reproductibilité et la responsabilité
Cas d’affirmations trompeuses et d’absence de correction dans un article très cité
- Un article publié dans Management Science affirmait que « les entreprises les plus durables affichent à long terme de meilleures performances boursières et comptables », alors que la méthode d’analyse réellement utilisée différait de celle décrite dans l’article
- L’article est cité environ 2 000 fois par an et constitue, depuis 2006, l’article le plus cité de cette revue, avec une influence sur les pratiques d’investissement et les politiques publiques
- Après deux ans de pression, les auteurs ont reconnu la description erronée de la méthode, mais refusé de soumettre un corrigendum
- Andy King a soulevé le problème et demandé des mesures correctives à plusieurs institutions, mais la plupart ont opposé évitement des responsabilités ou absence de réponse
- Management Science a invoqué une politique selon laquelle seuls les auteurs peuvent demander une correction, et n’a autorisé King qu’à soumettre un commentaire, au prix d’une longue procédure d’évaluation
- London Business School a soutenu qu’il n’y avait pas de faute, au motif que l’auteur concerné n’avait pas réalisé lui-même l’analyse
- Harvard Business School n’a pas rendu publiques l’existence ou les résultats d’une enquête interne, et Oxford University s’est défaussée au motif que l’affiliation au moment de la recherche était Harvard
- Le UK Research Integrity Office a répondu qu’il n’avait pas compétence
- Andrew Gelman adopte une position sceptique quant à la réaction des bureaux d’intégrité scientifique et des universités, en rappelant plusieurs précédents
- Il souligne que dans des cas tels que la manipulation de données par un professeur de l’Université de Californie, la fraude scientifique d’un professeur de Cornell, la transmission de fausses données à U.S. News par Columbia, ou encore le prix reçu par un professeur de Rutgers malgré du plagiat, il n’y a eu presque aucune sanction
- Il critique le fait que les institutions ignorent les alertes externes ou attaquent au contraire les lanceurs d’alerte, dans une « réponse à la Lance Armstrong »
- Gelman propose sur le ton de la satire la création d’une université fictive appelée « Second Chance U »
- Le principe serait d’y rassembler des universitaires et personnalités controversés pour plagiat, manipulation de données ou autres fautes, et elle est décrite comme la seule université où la rédaction de rapports par chatbot est encouragée
- En réponse à la question de King, il dit « ne pas savoir quoi faire de plus » et affirme qu’il continuera à critiquer la mauvaise vulgarisation scientifique de Freakonomics, l’idée qu’« une citation vaut 100 000 dollars » et l’attitude d’autoprotection du monde académique
- Il ajoute toutefois que ces critiques n’aboutissent pas à des changements concrets
Résumé de la discussion dans les commentaires du blog
-
Effets et limites de la dénonciation des fautes de recherche
- Robin Blythe indique que la révélation d’affirmations trompeuses peut, à long terme, affecter les recrutements, les financements et la réputation des institutions
- Dale Lehman souligne l’évitement des responsabilités par les revues et l’inefficacité de l’atteinte à la réputation, avançant que même une dégradation de la réputation des auteurs pourrait n’avoir aucun effet réel
- Blythe insiste sur le fait que l’accumulation des critiques publiques finit par produire du changement, et que la pression publique pèse davantage que les procédures internes
-
Discussion sur l’usage d’outils d’IA (Claude, Stan, SAS, etc.)
- Dre partage son expérience d’analyse de données d’enquête avec Claude, qu’il juge utile pour générer du code et produire des visualisations
- Anon explique qu’avec Claude Code et l’extension VSCode, il est possible d’automatiser l’analyse de fichiers d’enquête Qualtrics et de préenregistrements, ainsi que de rédiger des rapports intégrés avec Quarto
- Il mentionne que la version Opus 4.6, sortie il y a environ six semaines, a apporté des améliorations concrètes aux chercheurs
- Dre évoque la possibilité de développer un LLM pour la bibliothèque mathématique de Stan et se dit intéressé par les travaux récents liés à l’augmentation de la complexité des modèles Stan
-
Propositions de réponse face aux articles problématiques
- AAAnonymous propose un article de portée générale qui formaliserait la procédure de signalement des erreurs dans les publications
- Il schématise des étapes de contact auteur → revue → bureau d’intégrité scientifique et suggère, si tout échoue, la publication d’un article public du type « comment on: Eccles et al., 2014 »
- L’existence d’une telle plateforme pourrait faire pression sur les auteurs et les revues pour obtenir des corrections
- Andy King partage les liens vers sa réplication et son article de réfutation, et indique qu’il est en train de soumettre directement un commentaire à Management Science
- AAAnonymous confirme que la réplication de King a été publiée en 2025 dans le Journal of Management Scientific Reports, puis que la réponse des auteurs initiaux et la réplique de King ont été publiées en 2026
- Il propose d’analyser à l’avenir le suivi des citations de l’article original de 2014 pour voir si l’article critique est cité conjointement, afin d’évaluer l’efficacité réelle de la critique formelle
- Il ajoute que cela pourrait rejoindre le problème des articles rétractés qui continuent malgré tout d’être cités
- King précise qu’il « travaille seul depuis des années » et demande des propositions de collaboration ; AAAnonymous répond qu’il est prêt à contribuer en tant que non-spécialiste, avec un point de vue général
-
Critique du peer review et de la structure académique
- Kaiser prend pour analogie le dopage de Lance Armstrong pour souligner l’impuissance du peer review
- Il estime qu’il est grave que les évaluateurs n’aient pas repéré l’écart entre la méthode décrite dans l’article et les résultats réellement obtenus
-
Responsabilité des revues et plateformes alternatives
- Michael Weissman suggère de s’appuyer sur une revue externe comme Econ Journal Watch pour créer un mécanisme de correction formelle et de pression
- Andy King approuve cette idée et annonce qu’il prévoit d’y soumettre un texte
- jrkrideau suggère une publication sur PubPeer et mentionne que l’analyse de Dorthy Bishop montre que PubPeer est efficace pour surveiller les articles rétractés
-
Discussions sur les fautes de recherche et la reproductibilité
- Peter Dorman soulève la nécessité d’une étude diagnostique globale sur les travaux susceptibles d’être rétractés, et propose de systématiser les types d’erreurs et les critères de détection
- AAAnonymous cite l’article Steen (2010) pour présenter des données selon lesquelles les auteurs d’articles frauduleux visent de préférence les revues à fort IF, ont souvent des co-auteurs et présentent une tendance à la récidive avec nouvelles rétractations
- Il propose que les revues croisent le nom des auteurs avec leur historique de rétractations afin de réduire les récidives
- Il note que les contrôles anti-plagiat sont désormais généralisés, alors que la vérification des antécédents de rétractation reste insuffisante
-
Méfiance et fatigue vis-à-vis du monde académique
- Un utilisateur anonyme exprime sa lassitude, affirmant qu’il n’existe même pas d’institution ou de personnes réellement intéressées à signaler des recherches non éthiques, dans un contexte de déséquilibre de pouvoir et de richesse
-
Autres échanges
- Anon Coward cite des échanges d’e-mails entre Marc Hauser et Jeffrey Epstein, indiquant que Hauser y demandait des conseils pour répondre à une enquête sur des fautes ainsi que des conseils d’affaires
- Andrew Gelman souligne le lien d’Epstein avec un « projet de soutien à des adolescents à risque » et réagit en disant que c’est « terrible »
- JeffJ critique l’activité de dénonciation de DataColada en la qualifiant d’attaque sans fondement, mais Andrew rétorque que DataColada traite de méthodologie de recherche et non d’attaques personnelles
- Back0 remercie King pour ses efforts, le qualifiant de « quelqu’un qui mène le bon combat »
Structure du site et informations supplémentaires
- En bas de page figure un formulaire de commentaire avec des champs pour le nom, l’e-mail et le site web, permettant de publier un message
- La section « Leave a Reply » repose sur le système de commentaires par défaut de WordPress
- Parmi les grandes catégories du site figurent Bayesian Statistics, Causal Inference, Economics, Public Health, Sociology, Stan et d’autres sujets variés
- La liste des commentaires récents affiche des échanges laissés par Andrew, Phil, Sean, Carlos Ungil, jrkrideau, JeffJ et d’autres, sur des sujets comme la controverse Data Colada, les essais cliniques bayésiens, l’âge de la création littéraire ou les statistiques des matchs NFL
- Tout en bas de la page apparaît la mention « Proudly powered by WordPress », avec un lien vers le site officiel de WordPress
1 commentaires
Avis Hacker News
Le politique de correction des revues est au cœur du problème
Si une revue ne peut être corrigée que lorsque l’auteur demande lui-même une rectification, ce n’est pas une procédure de correction, mais simplement un « système de dépôt de plaintes »
Le monde médical a appris dans la douleur, après l’affaire de la thalidomide, à quel point cette structure est dangereuse, mais on dirait que les écoles de commerce ont ignoré cette leçon
Les articles d’Einstein ou les Principia Mathematica contiennent aussi des erreurs, tout en restant utiles comme références
Les mauvais articles finissent naturellement par être moins cités avec le temps
Le vrai problème, c’est que beaucoup continuent à considérer les revues comme une autorité absolue
Si un article contient des erreurs, un autre chercheur peut les réfuter dans un article de « comment » séparé
L’auteur original ou les éditeurs n’ont pas besoin d’être d’accord, et cela passe par une évaluation indépendante
Comme les membres des comités éditoriaux sont en grande majorité des bénévoles non rémunérés, ils cherchent à éviter d’être entraînés dans des polémiques sur les travaux des autres
D’où la règle implicite : « l’auteur est responsable de son article, et celui qui conteste n’a qu’à publier un texte séparé »
Comme Semmelweis, interné en psychiatrie à cause de l’orgueil de ses confrères, on continue aujourd’hui à voir d’innombrables patients subir les conséquences de la fatigue accumulée des médecins ou de diagnostics erronés
Récemment, un article sur l’exposition aux opiacés pendant l’allaitement a été rétracté, et il est choquant d’apprendre qu’il avait même influencé des décisions de justice sur la garde d’enfants
Article lié
Pour avoir travaillé dans le milieu académique, j’ai souvent eu l’impression que la qualité de la recherche en école de commerce était étonnamment faible
Les fondements sont souvent insuffisants ou manifestement faux, et il arrive même qu’on ait l’impression que les auteurs le savent mais écrivent ainsi pour plaire au grand public
Il a aussi souligné que les écoles de commerce n’avaient jamais réussi à construire une base académique sérieuse et avaient fini par devenir un outil de génération de cash pour les universités
Mon université a imposé aux enseignants-chercheurs une obligation de publication pour obtenir une accréditation supplémentaire
C’était littéralement du « publish or perish »
Mais c’est un cas d’école de la loi de Goodhart — dès qu’une mesure devient un objectif, elle perd son sens
Je me demande pourquoi des administrateurs aussi bien payés ne comprennent pas cela
Il faut des professeurs intelligents capables de lire et d’évaluer directement les articles ; faire des calculs de points mécaniques est une approche fondamentalement erronée
Du coup, ils ont sans doute simplement copié ceux de l’université d’à côté
La politique selon laquelle « seuls les auteurs peuvent demander une correction » est absurde
Combien de chercheurs vont reconnaître publiquement leurs propres erreurs ? Un chercheur non éthique ne le fera certainement jamais
La bonne façon de corriger des résultats douteux, c’est de les retester dans des études ultérieures avec de meilleures données et de meilleures méthodes
Quand plusieurs équipes de recherche indépendantes travaillent sur le même sujet et qu’on regroupe ensuite leurs résultats dans une méta-analyse (meta-analysis), c’est ainsi que se forme le consensus scientifique
Mais dans la plupart des cas, des études de suivi sont plus appropriées qu’une rétractation
En revanche, quand un article comme ici est cité par le grand public plutôt que par des scientifiques, la formation d’un consensus devient plus difficile
J’étais confus sur l’identité du « Andrew » mentionné dans le blog
Dans la liste des auteurs, il y a Andrew Gelman, mais le slug du lien est « aking », donc cela pouvait aussi être Andrew King
Il y a une phrase du type : « une histoire que j’ai entendue de mon collègue Andy King »
Les recherches qui prétendent que les faits et les jugements de valeur coïncident sont toujours suspectes
La réalité existe indépendamment de nos valeurs, donc si les deux coïncident, cela devrait au contraire nous rendre méfiants
Les valeurs diffèrent selon les individus, et encore plus dans une société mondialisée
Tant que les preuves n’ont pas été vérifiées, il faut adopter le même scepticisme vis-à-vis de tous les résultats
Il y avait aussi une réaction à moitié humoristique : « Cet article a lancé la carrière de tant d’étudiants, ne leur retirez pas cette joie »
Je me demandais s’il y avait sur cette page des faits concrets décrits précisément
À part la phrase disant que « la méthode décrite dans l’article ne correspond pas à la méthode réellement utilisée », il n’y avait pas beaucoup d’explications
La plupart des réactions académiques seraient probablement du genre : « si c’est une revue de management, c’est exactement ce à quoi je m’attendais »
Lien SSRN
J’aimerais qu’il existe pour la publication scientifique une infrastructure de type GitHub
J’imagine un système où les articles sont gérés dans des dépôts privés puis rendus publics à la publication, où les erreurs sont consignées comme des issues, et où l’état de la relecture est affiché avec des badges