Un article défectueux publié dans une revue de management a été cité plus de 6 000 fois

• Un article affirmant une corrélation entre la durabilité des entreprises et la performance boursière a été cité plus de 6 000 fois, mais des erreurs majeures et des descriptions trompeuses y ont été mises au jour
• Andy King, qui a tenté de reproduire l’étude, explique que les auteurs, le monde universitaire, la revue et les universités ont ignoré à plusieurs reprises ses demandes de correction et de vérification des erreurs
• L’article comporte de nombreux problèmes, dont une mauvaise indication de la significativité statistique, des erreurs dans la méthodologie décrite et un appariement d’échantillons irréaliste ; certains ont été traités comme de simples coquilles
• King a soulevé ces problèmes sur LinkedIn et via le Journal of Management Scientific Reports (JOMSR), spécialisé dans les études de réplication, mais Harvard Business School et London Business School ont conclu qu’il s’agissait de questions mineures
• Les auteurs n’ont toujours pas retiré l’article, et le texte souligne l’effondrement des mécanismes de gestion de la fiabilité scientifique ainsi que la nécessité de réformes

---

L’article en cause et la tentative de reproduction

• L’article “The Impact of Corporate Sustainability on Organizational Processes and Performance” a été cité plus de 6 000 fois et a été considéré comme une étude influente, citée jusqu’à des dirigeants de Wall Street et un ancien vice-président des États-Unis
• En tentant de reproduire l’étude, Andy King a découvert des incohérences méthodologiques, des erreurs statistiques, des tests manquants et une composition anormale de l’échantillon
  • Il a envoyé plusieurs e-mails aux auteurs, mais n’a reçu aucune réponse
  • Une étude de Bloomfield et al. (2018) indique également qu’il est courant que des chercheurs ignorent ou retardent les demandes des spécialistes de la reproduction/réplication (Replication)

Réaction du monde académique et de la revue

• King a demandé de l’aide à d’autres chercheurs, mais la plupart ont refusé, invoquant l’évitement du conflit ou le manque de temps
  • Certains universitaires ont même indiqué que « signaler les erreurs d’un article publié est plus nuisible pour une carrière »
• Il a soumis un commentaire critique à la revue Management Science, mais celui-ci a été rejeté au motif que « le ton est inapproprié »
  • Les auteurs ont reconnu que l’indication de la significativité de résultats clés était erronée, tout en affirmant qu’il s’agissait d’une « coquille »
  • Toutes les demandes supplémentaires de correction formulées par King ont été rejetées

Divulgation publique et publication de l’étude de réplication

• Après que King a rendu publiques les erreurs sur LinkedIn, la revue a fini par publier un erratum
• L’étude de réplication a été publiée dans le Journal of Management Scientific Reports (JOMSR), mettant en lumière le rôle des revues dédiées aux recherches de réplication
• King a confirmé que, dans l’article original, la méthode décrite ne correspond pas à la méthode réellement utilisée, et qu’il est impossible de reproduire les résultats avec la méthode effectivement employée

Enquête sur l’éthique de la recherche et réaction des universités

• King a déposé des signalements pour manquements à l’éthique de la recherche auprès de Harvard Business School et de London Business School
  • Les auteurs ont expliqué que « des phrases erronées étaient restées à la suite d’erreurs du processus éditorial », mais les mêmes erreurs se répètent dans toutes les versions du manuscrit
  • Harvard a gardé confidentiel le fait même d’ouvrir ou non une enquête, tandis que LBS a estimé qu’il ne s’agissait pas d’une « fausse déclaration intentionnelle » et a seulement recommandé des mesures pédagogiques
• King a critiqué cette approche en affirmant que « la question de l’accès aux données n’est pas l’essentiel ; une description erronée détruit la possibilité même d’interpréter correctement la recherche »

Défaillance institutionnelle et propositions de réforme

• L’article n’a fait l’objet que de corrections partielles, et la description erronée de la méthode n’a toujours pas été corrigée
• King affirme qu’« aucun système fiable de gouvernance de la science ne fonctionne » et propose :
  • d’éviter de s’appuyer sur la citation d’une seule étude et de vérifier si elle a été répliquée
  • de corriger immédiatement les erreurs lorsqu’elles sont découvertes
  • d’alerter ses collègues en cas de comportement non éthique
  • de soutenir les études de réplication et des revues comme JOMSR
  • de renforcer les politiques institutionnelles en matière d’éthique de la recherche
• Il propose également d’institutionnaliser la transparence, la supervision indépendante et des sanctions graduées dans la gouvernance académique, ainsi que d’introduire des dispositifs de vérification a posteriori comme FurtherReview

Commentaire d’Andrew Gelman

• Gelman qualifie les actes des auteurs de faute scientifique, tout en mettant l’accent sur le problème systémique plutôt que sur les individus
• Il souligne qu’« le refus de reconnaître les erreurs passées » transforme la science en « dead science »
• Il avertit que tant que la communauté académique n’encouragera pas la correction des erreurs et une attitude responsable, les mêmes problèmes se répéteront

[GN⁺]

Commentaires de Hacker News

• Je développe depuis 2003 un toolkit open source de modélisation à base d’agents
  Récemment, un article présentant un nouveau toolkit écrit dans un autre langage a comparé ses résultats à mon logiciel en affirmant qu’il était meilleur, alors qu’en réalité il avait mal exécuté mon outil et avait déformé les données
  J’ai demandé une correction, mais la revue a discrètement étouffé l’affaire pour sauver la face, et les auteurs n’ont fait qu’aligner des excuses
  Le vrai problème, c’est que ce genre de chose est beaucoup trop courant dans le monde académique

  • J’ai vécu quelque chose de similaire. Un concurrent a publié un article sans bien comprendre mon logiciel et a tiré des conclusions à partir de données erronées
    Après ça, ma confiance dans les articles scientifiques a fortement chuté
  • J’avais autrefois développé un logiciel académique, et j’ai été amené à relire un article d’une autre équipe qui l’utilisait comme point de comparaison
    Leur méthodologie de test était fondamentalement erronée, et ils entraînaient leur système sur un critère arbitraire pour un problème sans « vraie bonne réponse », puis affirmaient que leur résultat était le meilleur
    J’ai recommandé le rejet, et la revue a été d’accord, mais quelques mois plus tard, j’ai vu cet article publié sans révision dans une autre revue, ce qui m’a plongé dans un profond désespoir académique
  • Si vous êtes bien le Sean Luke que je connais, vos cours de premier cycle à l’université du Maryland ont eu une énorme influence sur ma manière de penser l’informatique. Merci
  • Un collègue m’avait autrefois demandé de relire le code d’un article, et j’ai constaté qu’il avait mal calculé la complexité, ce qui menait à des conclusions totalement fausses
    J’en ai finalement tiré la conclusion suivante : « ne confiez pas le code à des psychologues ». Il aurait au minimum fallu faire valider cela par quelqu’un ayant une formation en informatique
  • Pendant mes études doctorales, j’ai signalé à une revue que mon directeur de thèse avait manipulé des données, mais je n’ai jamais reçu la moindre réponse
    Le service juridique de l’université n’a pas plus réagi, et depuis, ma confiance dans le monde académique a quasiment disparu. C’est exactement pour cela qu’il y a une crise de la reproductibilité

• Aujourd’hui, le nombre de citations a bien moins de sens qu’avant
  Des articles problématiques continuent d’être cités en copier-coller
  Je réfléchis donc à un service qui superposerait un réseau de confiance au graphe de citations
  Les articles qui citent sans esprit critique des travaux erronés seraient marqués comme « potentiellement contaminés », et les auteurs ou institutions qui en accumulent beaucoup recevraient aussi un tag

  • J’ai moi aussi exploré cette idée quand GPT-3 est sorti
    Mais en lisant réellement les articles, je me suis rendu compte qu’il y avait beaucoup trop d’articles bidons
    L’hypothèse selon laquelle les mauvais articles seraient l’exception est elle-même fausse, et on en est finalement à chercher une aiguille dans une botte de foin
    Donc si un domaine est faux à 90 %, il vaut mieux ignorer ce domaine
  • Idée intéressante, mais il n’est pas difficile de distinguer une citation critique d’une citation purement descriptive ?
    On pourrait avoir l’air d’être pénalisé même en se contentant de résumer des travaux liés
  • Voir des gens se construire une carrière sur de fausses recherches dans les conférences m’a fait perdre confiance dans les experts
    Mais même si on met en place un système de confiance, je reste sceptique, car il finira de toute façon par être gamed
  • Chez nous aussi, les anneaux de citations (citation rings) et le gonflement du nombre d’auteurs sont monnaie courante

• Tous les domaines ont leurs mauvais articles, mais quand on regarde les vrais articles de faculté de commerce, l’estime de soi revient
  Les gens qui font de la recherche correcte dans ce domaine sont presque des exceptions du niveau de Galilée

  • J’ai moi aussi eu un cursus mêlant ingénierie, économie et gestion, et la gestion m’a donné l’impression d’être au niveau de la lecture d’un journal
    C’était intéressant, mais peu profond, presque superficiel comme un documentaire historique
  • Les facultés de commerce étudient au fond des techniques pour générer du profit à bas coût, donc le résultat correspond finalement assez bien à l’objet étudié

• Je suis totalement d’accord avec l’idée qu’il ne faut pas « citer une étude unique comme preuve décisive »
  Par exemple, la célèbre « Harvard Goal Study » n’a en réalité jamais existé
  La FAQ de la bibliothèque de Harvard indique explicitement qu’une telle étude n’existe pas

  • La « Jick Study » est un cas similaire. L’article Wikipédia suivant est utile : https://en.wikipedia.org/wiki/Addiction_Rare_in_Patients_Treated_with_Narcotics
  • Il faut ignorer les études isolées. Si un effet est réel, d’autres chercheurs feront des travaux de suivi en reproduisant partiellement le résultat et en l’étendant
    À l’inverse, s’il n’y a presque pas de citations de suivi, c’est un signal qui doit faire fuir

• Le problème de fond, c’est la culture du « publish or perish »
  Comme les recrutements de professeurs et les financements dépendent du nombre de citations, les citations croisées et la production industrielle d’articles sont devenues la norme

  • Le problème, c’est d’évaluer uniquement sur la base des citations
    Il faut un système d’évaluation à plusieurs niveaux, incluant la mise à disposition des données et la vérification de la reproductibilité
  • Au fond, la structure de compétition sur les notes à l’école se prolonge dans le monde adulte sous la forme d’une « compétition aux articles »
  • C’est un cas typique de loi de Goodhart

• Il y a énormément de mauvais articles scientifiques dans le monde
  Un texte que j’aime beaucoup est « Why Most Published Research Findings Are False » de John P. A. Ioannidis

  • C’est un excellent article, mais certains dans l’industrie tech s’en servent comme prétexte pour dire « ma réalité est la vérité » et s’en servir pour fuir le réel
  • Ioannidis a été remarquable sur les travaux autour de la crise de la reproductibilité, mais ses prises de parole sur le COVID-19 ont été décevantes, avec une attitude complotiste

• Le cœur du problème, c’est la significativité statistique et la structure des revues
  Les résultats « non significatifs » ne sont pas publiés, donc il ne reste naturellement que des résultats biaisés
  Le pré-enregistrement et la publication de données reproductibles sont essentiels, mais ils sont mal respectés à cause de la compétition pour les promotions et des intérêts commerciaux

  • Il existe un xkcd pertinent à ce sujet : https://xkcd.com/882/

• J’ai du mal à être d’accord avec l’idée que « un conducteur ivre n’est pas une mauvaise personne »
  Si on défend un comportement qui met la vie d’autrui en danger, le mot « mauvais » perd tout son sens
  Dire que des chercheurs se comportent de façon non éthique mais que c’est « à cause de leur formation » ressemble à une manière d’éluder leur responsabilité

  • Affirmer qu’une personne est « mauvaise » relève d’une pensée binaire
    Si le système facilite les mauvais comportements, alors la cause est au fond structurelle
    Dire qu’ils ont été « entraînés » ne signifie pas qu’on leur a enseigné cela, mais qu’ils ont été conditionnés par leur environnement
  • Au lieu de « mauvais comportement », il serait plus exact de parler de comportement stupide ou irresponsable
    Le mot anglais « bad » a une portée morale assez faible
  • À l’époque où tout le monde faisait ainsi, chacun croyait être différent alors qu’il vivait dans une illusion culturelle
    Au final, c’était le résultat d’une effet Dunning-Kruger qui poussait les gens à se surestimer
    Si tomber dans ce genre d’illusion fait partie de la condition humaine, on ne peut pas dire que l’être humain est mauvais en soi

• Dire qu’« il faut que les chercheurs en réplication fassent attention » va à l’encontre de la nature même de la science
  Des résultats irréplicables sont dénués de sens, et les études de réplication devraient au contraire être encouragées

• Le nombre de citations d’un article d’une revue diffère selon les sites
  SSRN en affiche 109, ResearchGate 3936, et Google Scholar 6269
  Les critères de comptage des citations sont si variables qu’il est difficile de leur faire confiance
  Il y a aussi eu une proposition consistant à « rendre publics les commentaires, corrections et demandes de rétractation pour tous les articles », mais
  dans ce cas, on aurait probablement une avalanche de commentaires étranges même sur les articles d’Einstein

  • En réalité, le chiffre de 6269 citations selon Google Scholar est exact
  • Mais quand on regarde des plateformes comme PubPeer, qui autorisent les commentaires anonymes,
    le problème des abus semble en pratique moins grave qu’on pourrait le croire