Statistiques bayésiennes : trois cultures

Bayes subjectif (Subjective Bayes)

• L’école traditionnelle du Bayes subjectif suppose une distribution génératrice des données, c’est-à-dire une vraisemblance en tant que fonction des paramètres
• Sous cette hypothèse, elle encode les croyances a priori sous forme de distribution a priori sur les paramètres
• Elle effectue ensuite l’inférence a posteriori et ne revient pas en arrière
• On ne sait pas très bien si quelqu’un suit encore strictement cette philosophie aujourd’hui, ni même s’identifie comme partisan du Bayes subjectif

Bayes objectif (Objective Bayes)

• La philosophie du « Bayes objectif » naît de la combinaison entre la volonté de faire des tests d’hypothèses (avec des facteurs de Bayes) et une forte sensibilité à ce qu’Andrew appelle le « Bayes cringe »
• Pour citer l’article d’un de ses principaux défenseurs :

L’analyse de référence produit une inférence bayésienne objective au sens où les énoncés inférentiels ne dépendent que du modèle supposé et des données disponibles, et au sens où la distribution a priori utilisée pour l’inférence contient une quantité minimale d’information au sens de la théorie de l’information

• Le fait qu’il existe encore des conférences sur le sujet, ainsi que des livres avec « Objective Bayes » dans le titre, montre que beaucoup de gens continuent de travailler dans cette perspective
• Cette approche est en partie à l’origine des priors gamma(epsilon, epsilon) et normal(0, 10_000) largement utilisés dans les exemples BUGS

Bayes pragmatique (Pragmatic Bayes)

• Andrew suit une philosophie qu’il appelle « Bayes pragmatique »
• Elle est clairement exposée dans la première édition de Bayesian Data Analysis de Gelman, Carlin, Stern et Rubin

1. Mettre en place un modèle probabiliste complet, c’est-à-dire une distribution de probabilité jointe pour toutes les quantités observables et non observables. Le modèle doit être cohérent avec les connaissances sur le problème scientifique sous-jacent et sur le processus de collecte des données
2. Calculer et interpréter la distribution a posteriori appropriée, c’est-à-dire la distribution de probabilité conditionnelle des quantités non observables d’intérêt, conditionnellement aux données observées
3. Évaluer l’adéquation du modèle et les implications de la distribution a posteriori obtenue : dans quelle mesure le modèle s’ajuste-t-il aux données, les conclusions de fond sont-elles raisonnables, et à quel point les résultats sont-ils sensibles aux hypothèses de modélisation de l’étape 1. En réponse, on peut modifier ou étendre le modèle, puis répéter les trois étapes

• C’est précisément ce processus qu’Andrew a fini par appeler le « workflow »

Procédure opérationnelle standard en ingénierie

• C’est la procédure opérationnelle standard appelée « conception itérative » en ingénierie
• Presque tout le machine learning fonctionne de cette manière
• Venant d’un parcours en informatique et en ML, j’ai été choqué de découvrir que les statisticiens ne pensent pas tous ainsi

Remarque sur la stratégie au moment de rédiger BDA

• Andrew explique qu’au début de la rédaction de la première édition de BDA, il a pris la décision explicite de laisser de côté la philosophie et de simplement « faire » de la science
• Lui et Rubin n’ont pas donné de nom à leur processus de conception itérative
• C’était un choix judicieux, car il est difficile de caractériser avec précision les convictions philosophiques d’autrui, et encore plus difficile de les faire évoluer par la discussion
• Si la méthode scientifique a besoin de clauses de non-responsabilité en philosophie des sciences, c’est probablement qu’elle n’est pas si convaincante scientifiquement

Remarque sur vraisemblance vs distribution a priori

• Je partage le point de vue d’Andrew selon lequel le choix de la distribution a priori n’est ni plus ni moins « subjectif » que celui de la vraisemblance
• Andrew le résume avec concision dans son texte sur le fait de « filtrer le moucheron de la distribution a priori tout en avalant le chameau de la vraisemblance »

Remarque sur croyance vs connaissance

• D’un point de vue philosophique, je préfère caractériser épistémologiquement les distributions a priori et les vraisemblances en termes de « connaissance » plutôt que de « croyance »
• C’est le cadre proposé à l’origine par Laplace, puis exploré plus en profondeur par John Stuart Mill, et repris par Gelman et al. dans BDA

Remarque sur l’étymologie de ce post

• En 1959, C.P. Snow a écrit le célèbre essai Les deux cultures sur l’art vs la science
• En 2001, L. Breiman a écrit l’influent essai Statistical Modeling: The Two Cultures sur la distinction entre la modélisation explicite du processus générateur et l’utilisation de modèles très flexibles
• Breiman défendait les forêts de décision dans ses travaux, et son approche continue de gagner dans des compétitions Kaggle où les données ne sont pas suffisantes pour entraîner des réseaux de neurones de pointe
• Je me demande si Andrew considérerait les forêts de décision et les réseaux de neurones comme un exemple de ce qu’il appelait une « fleur qui s’épanouit »

L’avis de GN+

• Les deux approches traditionnelles, le Bayes subjectif et le Bayes objectif, sont trop extrêmes. L’approche bayésienne pragmatique offre un compromis réaliste et utile
• Je suis d’accord avec l’idée que le choix de la distribution a priori est tout aussi subjectif que celui de la vraisemblance. Tous les composants d’un modèle impliquent de la subjectivité et des hypothèses
• L’approche par « workflow », qui consiste à évaluer le modèle, vérifier ses performances prédictives et itérer si nécessaire, devrait devenir la norme en science
• L’utilisation de distributions a priori informatives fondées sur des données passées n’est pas rare, et davantage d’analyses bayésiennes devraient y recourir
• En fin de compte, il est judicieux de se concentrer sur la pratique effective de la science plutôt que sur la philosophie de l’inférence bayésienne. Mais il reste parfois utile de discuter des fondements de l’inférence