Remplacer la « revue par les pairs » par la « réplication par les pairs » (2021)

• L’article discute de l’idée de remplacer l’évaluation traditionnelle par les pairs dans la recherche scientifique par une « réplication par les pairs ».
• L’auteur soutient que le processus actuel d’évaluation par les pairs est défaillant et peut constituer un obstacle majeur à la diffusion de découvertes scientifiques importantes.
• Le processus proposé de « réplication par les pairs » consiste, au lieu de faire examiner une prépublication par quelques experts, à l’envoyer à d’autres laboratoires pour qu’ils reproduisent les résultats.
• L’auteur suggère que le véritable test d’un article devrait être la capacité à reproduire ses résultats dans le monde réel.
• L’article souligne qu’à l’heure actuelle, les laboratoires indépendants ont très peu d’incitation à reproduire des résultats publiés, ce qui va à l’encontre de la manière dont la science devrait idéalement fonctionner.
• Dans le système proposé, les chercheurs qui effectuent le travail de réplication recevraient une reconnaissance dans l’article publié, ce qui leur fournirait une motivation pour leurs efforts.
• L’auteur reconnaît les défis potentiels de cette approche, notamment le temps supplémentaire nécessaire entre la soumission et la publication, ainsi que la difficulté à reproduire des résultats qui utilisent des techniques scientifiques avancées ou exigent des ressources importantes.
• Pour rendre ce processus plus réalisable, l’auteur propose de soumettre les détails de l’histoire et d’organiser la réplication pendant que le manuscrit est encore en préparation.
• L’article conclut en suggérant que des organisations comme Review Commons pourraient organiser des essais de cette nouvelle approche, et qu’une fois que les scientifiques verront la réplication par les pairs en version imprimée, elle pourrait devenir une méthode préférable à l’évaluation traditionnelle par les pairs.

[GN⁺]

Avis sur Hacker News

• Cet article propose de remplacer le système actuel d’évaluation par les pairs dans la recherche scientifique par une « réplication par les pairs ».
• Les critiques soutiennent que reproduire tous les articles publiés exigerait des efforts et des ressources considérables, et que cela ne serait pas forcément bénéfique pour les scientifiques chargés des réplications.
• L’objectif des publications scientifiques est de partager de nouveaux résultats avec d’autres scientifiques afin qu’ils puissent poursuivre le travail ou le vérifier. Le processus d’évaluation par les pairs a été conçu à l’origine pour rejeter les articles mal rédigés et le spam manifeste.
• Le processus d’évaluation par les pairs ne garantit pas la réplication, mais il garantit la lisibilité et l’intelligibilité des articles.
• Certains estiment que la « réplication par les pairs » est irréaliste pour des expériences qui coûtent des milliards de dollars. À la place, ajouter des métadonnées sur les articles répliqués pourrait constituer une approche plus viable.
• Dans des domaines comme l’informatique et le machine learning, l’ambiguïté des articles pousse à exiger une approche du type « pas de code, donc ça n’a pas eu lieu ».
• Certains affirment que le concept de « réplication par les pairs » a été mal compris. S’il signifie qu’un autre laboratoire doit produire un jeu de données concordant pour reproduire les résultats, cela serait irréalisable en raison du coût et du temps nécessaires à la collecte des données.
• Il est proposé de scinder l’« évaluation par les pairs » en un « examen de lisibilité » et une « déclaration de reproductibilité ». Cette dernière détaillerait la méthodologie et les stratégies utilisées pour mener l’expérience.
• L’exigence d’un « examen de reproductibilité » ou d’une « carte méthodologique » pour chaque article est considérée comme une approche plus réaliste. Elle impliquerait des allers-retours entre évaluateurs et auteurs, avec pour objectif de reproduire les résultats.
• Certains critiques affirment que des informations cruciales nécessaires pour reproduire les résultats sont souvent omises des articles, ce qui mine la confiance dans certaines orientations scientifiques.
• Malgré l’intérêt suscité par la « réplication par les pairs », les critiques soutiennent qu’elle n’est pas toujours praticable, en particulier dans le cas de grands projets comme LIGO, LHC et JWST.