Des affirmations trompeuses dans un article très cité, sans correction ni réaction du monde académique

• Un article de Management Science affirmant la surperformance des entreprises très durables a été maintenu sans correction ni sanction, alors même qu’il utilisait une méthode d’analyse différente de celle décrite
• Malgré les demandes de rectification du lanceur d’alerte Andy King, la revue, plusieurs universités et des organismes d’intégrité scientifique ont constamment opposé évitement des responsabilités et absence de réponse
• Andrew Gelman critique, à travers ce cas et d’autres, l’absence de sanctions et la structure d’autoprotection du monde académique, et propose sur le mode satirique une université fictive baptisée « Second Chance U »
• Dans les commentaires du blog, les discussions portent activement sur l’effet cumulatif de la critique publique, l’usage d’outils d’IA, la formalisation des procédures de signalement des erreurs d’articles et la création de plateformes alternatives
• Cette affaire est considérée comme un exemple révélant l’impuissance structurelle du monde académique face aux fautes de recherche et la nécessité de renforcer la reproductibilité et la responsabilité

---

Cas d’affirmations trompeuses et d’absence de correction dans un article très cité

• Un article publié dans Management Science affirmait que « les entreprises les plus durables affichent à long terme de meilleures performances boursières et comptables », alors que la méthode d’analyse réellement utilisée différait de celle décrite dans l’article
  • L’article est cité environ 2 000 fois par an et constitue, depuis 2006, l’article le plus cité de cette revue, avec une influence sur les pratiques d’investissement et les politiques publiques
  • Après deux ans de pression, les auteurs ont reconnu la description erronée de la méthode, mais refusé de soumettre un corrigendum
• Andy King a soulevé le problème et demandé des mesures correctives à plusieurs institutions, mais la plupart ont opposé évitement des responsabilités ou absence de réponse
  • Management Science a invoqué une politique selon laquelle seuls les auteurs peuvent demander une correction, et n’a autorisé King qu’à soumettre un commentaire, au prix d’une longue procédure d’évaluation
  • London Business School a soutenu qu’il n’y avait pas de faute, au motif que l’auteur concerné n’avait pas réalisé lui-même l’analyse
  • Harvard Business School n’a pas rendu publiques l’existence ou les résultats d’une enquête interne, et Oxford University s’est défaussée au motif que l’affiliation au moment de la recherche était Harvard
  • Le UK Research Integrity Office a répondu qu’il n’avait pas compétence
• Andrew Gelman adopte une position sceptique quant à la réaction des bureaux d’intégrité scientifique et des universités, en rappelant plusieurs précédents
  • Il souligne que dans des cas tels que la manipulation de données par un professeur de l’Université de Californie, la fraude scientifique d’un professeur de Cornell, la transmission de fausses données à U.S. News par Columbia, ou encore le prix reçu par un professeur de Rutgers malgré du plagiat, il n’y a eu presque aucune sanction
  • Il critique le fait que les institutions ignorent les alertes externes ou attaquent au contraire les lanceurs d’alerte, dans une « réponse à la Lance Armstrong »
• Gelman propose sur le ton de la satire la création d’une université fictive appelée « Second Chance U »
  • Le principe serait d’y rassembler des universitaires et personnalités controversés pour plagiat, manipulation de données ou autres fautes, et elle est décrite comme la seule université où la rédaction de rapports par chatbot est encouragée
• En réponse à la question de King, il dit « ne pas savoir quoi faire de plus » et affirme qu’il continuera à critiquer la mauvaise vulgarisation scientifique de Freakonomics, l’idée qu’« une citation vaut 100 000 dollars » et l’attitude d’autoprotection du monde académique
  • Il ajoute toutefois que ces critiques n’aboutissent pas à des changements concrets

Résumé de la discussion dans les commentaires du blog

• Effets et limites de la dénonciation des fautes de recherche

  • Robin Blythe indique que la révélation d’affirmations trompeuses peut, à long terme, affecter les recrutements, les financements et la réputation des institutions
  • Dale Lehman souligne l’évitement des responsabilités par les revues et l’inefficacité de l’atteinte à la réputation, avançant que même une dégradation de la réputation des auteurs pourrait n’avoir aucun effet réel
  • Blythe insiste sur le fait que l’accumulation des critiques publiques finit par produire du changement, et que la pression publique pèse davantage que les procédures internes

• Discussion sur l’usage d’outils d’IA (Claude, Stan, SAS, etc.)

  • Dre partage son expérience d’analyse de données d’enquête avec Claude, qu’il juge utile pour générer du code et produire des visualisations
  • Anon explique qu’avec Claude Code et l’extension VSCode, il est possible d’automatiser l’analyse de fichiers d’enquête Qualtrics et de préenregistrements, ainsi que de rédiger des rapports intégrés avec Quarto
    • Il mentionne que la version Opus 4.6, sortie il y a environ six semaines, a apporté des améliorations concrètes aux chercheurs
  • Dre évoque la possibilité de développer un LLM pour la bibliothèque mathématique de Stan et se dit intéressé par les travaux récents liés à l’augmentation de la complexité des modèles Stan

• Propositions de réponse face aux articles problématiques

  • AAAnonymous propose un article de portée générale qui formaliserait la procédure de signalement des erreurs dans les publications
    • Il schématise des étapes de contact auteur → revue → bureau d’intégrité scientifique et suggère, si tout échoue, la publication d’un article public du type « comment on: Eccles et al., 2014 »
    • L’existence d’une telle plateforme pourrait faire pression sur les auteurs et les revues pour obtenir des corrections
  • Andy King partage les liens vers sa réplication et son article de réfutation, et indique qu’il est en train de soumettre directement un commentaire à Management Science
  • AAAnonymous confirme que la réplication de King a été publiée en 2025 dans le Journal of Management Scientific Reports, puis que la réponse des auteurs initiaux et la réplique de King ont été publiées en 2026
    • Il propose d’analyser à l’avenir le suivi des citations de l’article original de 2014 pour voir si l’article critique est cité conjointement, afin d’évaluer l’efficacité réelle de la critique formelle
    • Il ajoute que cela pourrait rejoindre le problème des articles rétractés qui continuent malgré tout d’être cités
  • King précise qu’il « travaille seul depuis des années » et demande des propositions de collaboration ; AAAnonymous répond qu’il est prêt à contribuer en tant que non-spécialiste, avec un point de vue général

• Critique du peer review et de la structure académique

  • Kaiser prend pour analogie le dopage de Lance Armstrong pour souligner l’impuissance du peer review
    • Il estime qu’il est grave que les évaluateurs n’aient pas repéré l’écart entre la méthode décrite dans l’article et les résultats réellement obtenus

• Responsabilité des revues et plateformes alternatives

  • Michael Weissman suggère de s’appuyer sur une revue externe comme Econ Journal Watch pour créer un mécanisme de correction formelle et de pression
  • Andy King approuve cette idée et annonce qu’il prévoit d’y soumettre un texte
  • jrkrideau suggère une publication sur PubPeer et mentionne que l’analyse de Dorthy Bishop montre que PubPeer est efficace pour surveiller les articles rétractés

• Discussions sur les fautes de recherche et la reproductibilité

  • Peter Dorman soulève la nécessité d’une étude diagnostique globale sur les travaux susceptibles d’être rétractés, et propose de systématiser les types d’erreurs et les critères de détection
  • AAAnonymous cite l’article Steen (2010) pour présenter des données selon lesquelles les auteurs d’articles frauduleux visent de préférence les revues à fort IF, ont souvent des co-auteurs et présentent une tendance à la récidive avec nouvelles rétractations
    • Il propose que les revues croisent le nom des auteurs avec leur historique de rétractations afin de réduire les récidives
    • Il note que les contrôles anti-plagiat sont désormais généralisés, alors que la vérification des antécédents de rétractation reste insuffisante

• Méfiance et fatigue vis-à-vis du monde académique

  • Un utilisateur anonyme exprime sa lassitude, affirmant qu’il n’existe même pas d’institution ou de personnes réellement intéressées à signaler des recherches non éthiques, dans un contexte de déséquilibre de pouvoir et de richesse

• Autres échanges

  • Anon Coward cite des échanges d’e-mails entre Marc Hauser et Jeffrey Epstein, indiquant que Hauser y demandait des conseils pour répondre à une enquête sur des fautes ainsi que des conseils d’affaires
  • Andrew Gelman souligne le lien d’Epstein avec un « projet de soutien à des adolescents à risque » et réagit en disant que c’est « terrible »
  • JeffJ critique l’activité de dénonciation de DataColada en la qualifiant d’attaque sans fondement, mais Andrew rétorque que DataColada traite de méthodologie de recherche et non d’attaques personnelles
  • Back0 remercie King pour ses efforts, le qualifiant de « quelqu’un qui mène le bon combat »

Structure du site et informations supplémentaires

• En bas de page figure un formulaire de commentaire avec des champs pour le nom, l’e-mail et le site web, permettant de publier un message
• La section « Leave a Reply » repose sur le système de commentaires par défaut de WordPress
• Parmi les grandes catégories du site figurent Bayesian Statistics, Causal Inference, Economics, Public Health, Sociology, Stan et d’autres sujets variés
• La liste des commentaires récents affiche des échanges laissés par Andrew, Phil, Sean, Carlos Ungil, jrkrideau, JeffJ et d’autres, sur des sujets comme la controverse Data Colada, les essais cliniques bayésiens, l’âge de la création littéraire ou les statistiques des matchs NFL
• Tout en bas de la page apparaît la mention « Proudly powered by WordPress », avec un lien vers le site officiel de WordPress