Recherche ouverte, rigoureuse et reproductible : un manuel pour les praticiens (2021)
(stanforddatascience.github.io)- Concevoir et partager la recherche de manière ouverte, transparente et reproductible accroît la portée des résultats, ainsi que leur vérifiabilité et leur possibilité de réanalyse
- Les articles payants, le code non public, les données inaccessibles et les logiciels abandonnés rendent difficile, pour d'autres chercheurs, la vérification du processus d'analyse réel
- Une conception expérimentale et une analyse de mauvaise qualité peuvent accumuler des résultats erronés dans la littérature et augmenter le coût, pour les nouveaux chercheurs, de distinguer les résultats fiables
- L'ouverture et la reproductibilité demandent un travail supplémentaire et se heurtent aux limites des systèmes de récompense, mais elles aident à détecter les erreurs plus tôt et à renforcer la crédibilité de la recherche
- Le manuel est structuré en pratiques modulaires réparties entre la conception de la recherche, l'analyse et le reporting des données, et l'ouverture des matériaux de recherche, afin de pouvoir commencer par les éléments les plus utiles
Pourquoi l'ouverture et la reproductibilité sont nécessaires
- Si la recherche n'est pas menée et partagée de façon ouverte, transparente et reproductible, ses bénéfices diminuent
- Quand un article est publié dans un circuit accessible uniquement via paiement, le nombre de personnes pouvant consulter les résultats est limité, et la portée potentielle des productions s'en trouve réduite
- De nombreuses analyses sont complexes, au point qu'il est presque impossible d'expliquer tous les choix et toutes les procédures dans le seul corps de l'article
- Sans le code associé, il est difficile pour d'autres de savoir avec certitude ce qui a exactement été fait
- Même si le code est public, il peut rester difficile de reproduire ou de réanalyser des travaux antérieurs à cause d'un accès impossible aux données ou de logiciels abandonnés
- Si les travaux passés ne peuvent pas être facilement réanalysés, la communauté a plus de mal à explorer d'autres voies d'analyse, à combiner des jeux de données ou à généraliser les expériences à de nouveaux contextes
Le coût des mauvaises pratiques de recherche
- Si l'on n'accorde pas assez d'attention à la conception expérimentale et à l'analyse, la littérature risque d'accumuler davantage de résultats erronés
- Plus les résultats peu fiables sont nombreux, plus les nouveaux chercheurs doivent consacrer de temps à comprendre leur objet d'étude et à produire de véritables avancées
Pourquoi les chercheurs restent réticents à l'ouverture et à la reproductibilité
- Une recherche ouverte, transparente et reproductible demande un travail supplémentaire, et les structures actuelles de récompense ne valorisent pas toujours ces efforts
- Cela dit, des évolutions sont en cours dans plusieurs disciplines, et certaines communautés accordent une grande valeur à ces pratiques
- Le coût des erreurs peut être élevé, et l'ouverture aide à les éviter
- Certaines données ne peuvent pas être partagées légalement en raison de la vie privée, du droit d'auteur ou d'autres contraintes
- Les recherches fondées sur ces données peuvent en général être moins utiles au monde que celles qui utilisent des données plus ouvertes
- Malgré cela, publier de manière transparente les analyses réalisées, les protocoles de collecte de données ou des méthodes comme la préinscription peut renforcer la confiance dans la recherche
- Certains craignent qu'en publiant données et code, des erreurs ou une faible qualité de code soient mises au jour
- Cette inquiétude est compréhensible, mais elle va en général dans la mauvaise direction
- Mieux vaut détecter les erreurs tôt, et la plupart des gens perçoivent positivement la mise à disposition, indépendamment de la qualité du code
- Partager le code dès le départ en pensant à sa publication finale aide aussi à l'améliorer
- Beaucoup ne savent pas non plus par où commencer
- Les guides existants sur l'open science et la reproductibilité prennent souvent la forme de livres complets ou de vastes collections de ressources, ce qui peut créer une charge lorsqu'on essaie d'assimiler toute la philosophie et une approche globale de la recherche
L'approche du manuel
- Ce manuel ne cherche pas à transformer complètement la recherche d'un seul coup, mais à montrer comment la rendre, par étapes et de différentes façons, un peu plus ouverte, transparente et reproductible
- Chaque étape peut apporter en elle-même un certain bénéfice
- Il existe des nuances et des exigences propres à chaque discipline, mais la plupart des domaines qui travaillent sur les données et l'analyse statistique ont beaucoup à apprendre les uns des autres
- Le format vise les points suivants
- Modulaire : les idées individuelles peuvent être utilisées séparément ou combinées
- Pratique : focalisation sur des pratiques applicables et à fort impact
- Général : applicable à tout domaine qui traite des données et de l'analyse statistique
- Concis : pensé pour des scientifiques occupés qui n'ont pas le temps de suivre un cours complet maintenant
Trois sections principales
- La première section traite d'une conception rigoureuse de la recherche destinée à garantir et à démontrer que les résultats et conclusions sont valides et utiles
- Déterminer soigneusement les paramètres expérimentaux, par exemple en utilisant une analyse de puissance pour estimer une taille d'échantillon appropriée
- Distinguer la recherche exploratoire de la recherche confirmatoire
- Planifier à l'avance les analyses statistiques
- Recueillir toutes les données pertinentes afin de permettre la comparaison avec les travaux antérieurs
- Inclure des éléments supplémentaires comme la préinscription, l'anticipation des problèmes potentiels et la prise en compte des implications éthiques
- La deuxième section couvre les bonnes pratiques d'analyse des données et de présentation des résultats
- Décisions et points à considérer avant de manipuler les données
- Plan d'analyse statistique préalable
- Génération de données appropriée
- Préparation transparente des données
- Visualisation de données riche en information
- Synthèse des données à l'aide de statistiques appropriées
- Analyse des données en évitant les erreurs courantes
- Considérations supplémentaires pour la recherche médicale
- Présentation transparente et complète des analyses statistiques
- Exemples tirés de la littérature publiée illustrant les principes du manuel
- La troisième section explique comment rendre publics tous les matériaux de recherche pertinents
- Open Data : publier les données brutes pour permettre des recherches supplémentaires et la réplication
- Open Source Code : rendre le pipeline d'analyse transparent et permettre à d'autres de le réutiliser ou de le vérifier
- Reproducible Environments : fournir non seulement les données et le code, mais aussi un environnement permettant de relancer facilement l'analyse
- Open Publication Models : rendre accessibles à tous les productions académiques liées à la recherche
- Documenting Processes and Decisions : expliciter, via des mécanismes comme des carnets d'expérience ouverts, non seulement ce qui a été fait et comment, mais aussi pourquoi cela a été fait ainsi
Portée de l'annexe
- L'annexe couvre des ressources complémentaires comme les questions fréquentes, les considérations propres aux disciplines et les liens vers des ressources supplémentaires
1 commentaires
Commentaires sur Hacker News
Consigner les versions des packages utilisés est une bonne chose, mais une meilleure approche consiste à fournir, avec le code, une description de l’environnement où toute la chaîne de dépendances est entièrement figée, comme un canal Guix ou un flake Nix.
Docker peut aussi imposer des versions fixes, mais un simple
apt updatepeut tout casser.Nix et Guix ne se contentent pas de fournir un environnement permettant d’exécuter le code avec les mêmes outils et versions ; ils permettent aussi de générer des images de conteneurs partageables.
C’est excellent qu’une université généralement très coûteuse comme Stanford propose des ressources pédagogiques gratuites.
Quelqu’un l’a déjà utilisé ? C’est bien ?
Notre équipe est en train de passer du logiciel à la data science, et ce contenu semble pouvoir combler cet écart.
La page intègre https://stanforddatascience.github.io/best-practices/index.h...
On peut résumer ce manuel comme un guide qui présente de bonnes pratiques pour rendre la science plus ouverte, transparente et reproductible.