- Le test t, largement utilisé pour juger de la significativité statistique en science, est né d’un problème de contrôle qualité dans la fabrication de la bière
- Au début du XXe siècle, Guinness, alors la plus grande brasserie du monde, voulait faire évoluer un contrôle qualité fondé sur l’inspection à l’œil et l’odorat vers plus de constance et de rigueur industrielle
- William Sealy Gosset a conçu une méthode permettant de distinguer une différence réelle d’une fluctuation due au hasard dans des situations où l’on ne pouvait mesurer que de petits échantillons, comme la teneur en résine du houblon
- Le test t utilise un rapport signal/bruit qui prend en compte à la fois l’écart entre les moyennes d’échantillon et la dispersion des données, et, pour les petits échantillons, il faut une loi t aux queues plus épaisses que la loi normale
- Comme Guinness ne souhaitait pas révéler ses travaux à ses concurrents, Gosset a publié sous le pseudonyme « Student », et cette méthode reste aujourd’hui un outil statistique central de la science
Une méthode statistique née du contrôle qualité chez Guinness
- La brasserie Guinness est connue depuis longtemps pour ses méthodes innovantes, depuis que son fondateur Arthur Guinness a signé à Dublin un bail de 9 000 ans pour 45 £ par an
- Parmi les innovations liées à la bière figure une technique chimique mise au point par le maître brasseur et mathématicien Michael Edward Ash après quatre années d’essais
- Cette technique sert à produire la couche de mousse onctueuse du Guinness stout
- Elle inclut l’utilisation d’azote dans les fûts et dans une petite bille placée dans les canettes
- Elle a ensuite conduit au style de « nitro brew » pour la bière et le café
- Mais l’innovation la plus influente issue de la brasserie n’a pas été la bière elle-même, mais le test t
Le problème des petits échantillons dans la plus grande brasserie du monde
- Au début du XXe siècle, Guinness était la plus grande brasserie du monde, en activité depuis près de 150 ans
- À l’époque, le contrôle qualité des produits reposait en grande partie sur l’inspection visuelle et l’odorat
- Avec l’essor des besoins liés à l’expansion mondiale, la direction voulait passer à un contrôle qualité plus constant et plus rigoureux sur le plan industriel
- L’entreprise a recruté une équipe de recherche et lui a laissé la liberté d’explorer des questions utiles à la fabrication de la bière parfaite
- Où poussent les meilleures variétés d’orge
- Quel est le taux de sucre idéal de l’extrait de malt
- Dans quelle mesure la dernière campagne publicitaire a augmenté les ventes
- La difficulté à laquelle l’équipe revenait sans cesse était l’interprétation des données avec une petite taille d’échantillon
La significativité statistique à travers l’exemple du houblon
- Les fleurs de houblon étaient un ingrédient essentiel pour l’amertume de Guinness et pour son rôle naturel de conservateur, et les brasseurs mesuraient la teneur en soft resin pour évaluer la qualité du houblon
- L’exemple suppose qu’une valeur typique satisfaisante est de 8 %, et que, sur 9 échantillons mesurés, les valeurs vont de 4 à 10 %, avec une moyenne de 6 %
- Il n’était pas économiquement possible d’examiner toutes les fleurs, il fallait donc recourir à un échantillon aléatoire
- Si la moyenne de l’échantillon est de 6 %, deux interprétations sont possibles
- La teneur en soft resin de l’ensemble de la récolte est réellement anormalement basse
- L’ensemble de la récolte est normal, mais l’échantillon a, par hasard, sélectionné des fleurs à faible teneur
- L’enjeu central du jugement consiste à déterminer si cette faible teneur observée dans l’échantillon diffère de façon significative de 8 %, ou s’il s’agit simplement d’une variation naturelle
Un jugement qui revient dans toute la science
- Ce problème ne se limite pas au brassage, il apparaît dans l’ensemble de la recherche scientifique
- Dans un essai médical, si le groupe traité et le groupe placebo s’améliorent tous deux, mais que le groupe traité s’améliore un peu plus, il faut déterminer si l’on dispose de preuves suffisantes pour recommander le médicament
- Si deux groupes ont reçu des placebos différents et qu’un groupe obtient de meilleurs résultats, il faut distinguer un effet réel du placebo d’une amélioration naturelle
- Au fond, ce type de décision ramène à la question de la significativité statistique
Ce que le test t de Gosset a résolu
- La théorie permettant de traiter ce genre de problème avec de petits échantillons n’avait pas encore été développée avant que William Sealy Gosset de Guinness ne crée le test t
- Le concept même de significativité statistique existait avant Gosset, mais les statisticiens antérieurs travaillaient surtout sur de grands échantillons
- Dans l’exemple du houblon, la question posée est la suivante : si la moyenne réelle de l’ensemble de la récolte est de 8 %, quelle est la probabilité d’observer une valeur aussi extrême qu’une moyenne de 6 % ?
- Cette probabilité est appelée valeur p, et, traditionnellement, on considère souvent qu’il y a significativité statistique lorsqu’elle est inférieure à 5 %, soit 0,05
- Cela dit, le seuil peut varier selon le domaine d’application
Signal, bruit et loi t
- Deux facteurs influencent généralement la valeur p
- À quel point l’échantillon s’écarte de la valeur attendue dans la population
- À quelle fréquence de grands écarts se produisent
- L’écart entre la moyenne observée de 6 % et la valeur attendue de 8 % correspond au signal
- Plus l’écart est grand, plus il est probable que la teneur en soft resin de la récolte soit réellement basse
- L’écart-type entre les fleurs correspond au bruit
- Si l’écart-type est grand, une moyenne de 6 % n’a peut-être rien d’inquiétant
- Si l’écart-type est faible, 6 % peut constituer un véritable signal d’écart par rapport à la valeur attendue de 8 %
- Dans l’idéal, on calcule donc un rapport signal/bruit et l’on détermine s’il est suffisamment élevé pour atteindre le seuil de 5 %
- À l’époque de Gosset, les statisticiens savaient déjà que si l’on répétait une expérience de nombreuses fois et que l’on traçait le rapport signal/bruit, on obtenait une forme proche de la loi normale standard, c’est-à-dire une courbe en cloche
- Gosset a remarqué que cette approche ne fonctionnait bien qu’avec de grands échantillons et qu’elle ne garantissait pas une loi normale dans le cas de petits échantillons de houblon
- Il a alors établi avec soin les tables d’une nouvelle loi adaptée aux petits échantillons, aujourd’hui appelée loi t
- La loi t a une forme en cloche comme la loi normale, mais ses queues décroissent plus lentement
- Par conséquent, avec de petits échantillons, il faut un rapport signal/bruit plus élevé pour conclure à une significativité
Pourquoi cela est venu d’une brasserie
- Dans un billet de blog publié en 2008, John D. Cook écrivait qu’il n’est peut-être pas si surprenant que le test t soit né dans une brasserie plutôt que dans un domaine viticole
- Les brasseurs exigent de la constance dans leur produit, tandis que les producteurs de vin apprécient la diversité
- Le vin a ses « bonnes années » et chaque bouteille raconte une histoire, mais Guinness doit retrouver à chaque fois le même goût caractéristique
- Cette exigence d’uniformité a ainsi conduit à une innovation statistique
Pourquoi on parle du « Student’s t-test »
- Gosset a résolu de nombreux problèmes de la brasserie grâce à cette nouvelle méthode
- Statisticien autodidacte, il a publié le test t sous le pseudonyme « Student », Guinness ne souhaitant pas informer ses concurrents du contenu de ses recherches
- Gosset a été un pionnier du contrôle qualité industriel et a apporté plusieurs idées à la recherche quantitative, mais de nombreux manuels continuent d’appeler sa contribution la plus célèbre le Student’s t-test
- Son nom est moins mis en avant dans l’histoire, mais le test t reste aujourd’hui l’un des outils statistiques les plus utilisés en science
1 commentaires
Réactions sur Hacker News
L’histoire de la biochimie comporte aussi un épisode intéressant : Chaim Weizmann était biochimiste et sioniste convaincu, et pendant la Première Guerre mondiale il a cultivé Clostridium acetobutylicum, capable de produire l’acétone nécessaire à la fabrication de la cordite, propulseur de l’artillerie navale, ce qui a attiré l’attention de Winston Churchill
En récompense de cette contribution à l’effort de guerre, lorsque George Lloyd lui a demandé ce que la Grande-Bretagne pouvait faire pour lui, Weizmann a répondu : « Pas pour moi, mais pour mon peuple », ce qui a conduit à la Balfour Declaration promettant un foyer au peuple juif
https://en.wikipedia.org/wiki/Chaim_Weizmann
https://en.wikipedia.org/wiki/Balfour_Declaration
La Balfour Declaration comportait aussi une clause stipulant que les Palestiniens ne devaient pas être expulsés, mais celle-ci a été largement oubliée, et entre l’arrivée de Weizmann au Royaume-Uni et sa rencontre avec George Lloyd, il y a aussi eu pas mal de manœuvres politiques, comme une tournée mondiale destinée à promouvoir Albert Einstein
J’ai récemment lu A Peace to End All Peace de David Fromkin, qui traite en profondeur du rôle de Weizmann et du contexte de formation de la Balfour Declaration, et l’un des passages de conclusion m’est resté en tête : après l’effondrement de l’ordre impérial romain, il a fallu près de 1 500 ans à l’Europe pour clarifier les États-nations et les identités politiques
L’idée selon laquelle la crise actuelle au Moyen-Orient, même si sa profondeur et sa durée peuvent différer, traite du même problème — comment différents peuples se recomposent en nouvelles identités politiques après l’effondrement d’un ancien ordre impérial — m’a paru frappante
Les Alliés n’ont pas non plus élaboré de plan pour réinstaller les réfugiés juifs après la guerre, et en réalité les Juifs étaient même interdits d’entrée dans la Palestine sous mandat britannique à l’époque
Les Israéliens ont proclamé leur propre État contre la volonté britannique, comme les États-Unis ont déclaré leur indépendance vis-à-vis du Royaume-Uni
De plus, aucun « plan » pour cette région ne prévoyait une guerre civile, pourtant elle a bien eu lieu, et faire rentrer rétroactivement les événements dans divers plans qui ne se sont jamais réalisés relève d’une lecture assez révisionniste
Il est difficile de soutenir que les Arabes de Cisjordanie ont reçu des Israéliens un traitement pire que celui qu’ils comptaient infliger aux Israéliens ; en revanche, après avoir perdu l’affrontement militaire, le camp arabe a aussi expulsé ses propres anciennes communautés juives
Quand je suis allé en Pologne l’été dernier, j’ai découvert que plusieurs dirigeants juifs de Pologne de l’entre-deux-guerres soutenaient l’idée d’un État-nation juif, sans toutefois parvenir à convaincre le gouvernement de le déclarer publiquement
C’est d’autant plus surprenant si l’on pense qu’à l’époque les Juifs représentaient jusqu’à 25 % de la population polonaise
Parmi ses motivations pour faire adopter la déclaration figurait au moins en partie l’idée que, si la Grande-Bretagne donnait leur propre pays aux Juifs, elle gagnerait un puissant allié au sein d’un prétendu complot juif mondial, tout en faisant en sorte que les Juifs quittent le Royaume-Uni et cessent d’en diriger la vie politique, culturelle et économique
Dans un texte de 1919 cité sur Wikipedia, Balfour écrivait aussi que le sionisme atténuerait la souffrance de longue date née du fait que la civilisation occidentale considérait « le groupe des Juifs en son sein » comme étranger et hostile, sans pour autant pouvoir ni l’expulser ni l’assimiler
Il est l’un des meilleurs exemples montrant que soutien au sionisme et antisémitisme ne sont pas contradictoires et peuvent en réalité aller de pair
Après l’arrivée de Hitler au pouvoir, il y a également eu, avec l’appui du gouvernement allemand, un projet sioniste aidant les Juifs allemands à émigrer vers la Palestine, qui a bien sûr pris fin avec le début de la Seconde Guerre mondiale, comme toute migration
Cela ne veut pas dire que les Nazis appréciaient ce projet, mais ils ne s’y opposaient pas activement non plus ; à la place, ils obligeaient les Juifs émigrants à liquider leurs actifs et limitaient fortement les biens transférables à l’étranger, puis ont ensuite confisqué les entreprises juives et les ont reprivatisées pendant l’Holocauste
Article passionnant. J’ai l’impression qu’on ne nous racontait pas ce genre d’histoire en cours de statistiques.
Gosset a résolu divers problèmes de la brasserie grâce à une nouvelle méthode et, comme Guinness ne voulait pas que ses concurrents apprennent le contenu de ses recherches, il a publié le test t sous le pseudonyme de Student
Gosset a été un pionnier du contrôle qualité industriel et a beaucoup contribué à la recherche quantitative, mais la plupart des manuels continuent encore d’appeler son travail le « test t de Student »
Gosset n’avait pas la formation mathématique nécessaire pour dériver théoriquement la bonne distribution, alors il a simulé des tirages des milliers de fois pour chaque taille d’échantillon, puis ajusté une courbe afin d’identifier la distribution
À l’époque, simuler voulait dire écrire des nombres sur des milliers de cartes, les mélanger, tirer un échantillon, calculer la moyenne et l’écart-type, puis recommencer des milliers de fois
Il a publié ses résultats avec une certaine gêne de ne pas pouvoir les démontrer correctement
Les manuels de statistiques sont trop arides pour avoir vraiment la place de raconter ce genre d’histoire
Je me demande combien de découvertes utiles faites dans l’industrie ont été enterrées parce que la direction craignait de divulguer des informations aux concurrents
Si l’on croit que, même sans cette personne précise, quelqu’un d’autre finirait par faire la découverte, on peut aussi considérer que ces découvertes ont probablement été redécouvertes indépendamment, ou le seront
Je me demande aussi combien de recherches de valeur disparaissent quand une entreprise fait faillite ou se fait racheter
Par exemple, quand on lit des articles des années 1990 sur les « agents » et les « systèmes multi-agents » liés à MCC, on tombe souvent sur des références comme « MCC Technical Report TR86-32791 », mais si certains rapports se trouvent encore en ligne, beaucoup semblent difficiles, voire impossibles, à retrouver
https://en.wikipedia.org/wiki/Microelectronics_and_Computer_...
Il y a eu quelque chose de similaire sur HN quand on cherchait l’origine du terme « sharding ». Beaucoup d’indices pointaient vers des articles internes de CCA, et CCA a été rachetée par Xerox, mais les articles originaux sont désormais pratiquement introuvables
Il y en a peut-être quelque part chez Xerox, mais mettre la main dessus serait très difficile
https://news.ycombinator.com/item?id=36848605
La plaque commémorative sur place rappelle Gosset et sa contribution à la statistique
Connaître ce petit contexte m’a personnellement apporté une vraie satisfaction
Le premier site où j’ai travaillé en arrivant chez AWS était DUB1, qui faisait partie du Digital Hub, un espace technologique et incubateur.
Par hasard, le petit bureau d’Amazon occupait l’ancien laboratoire de William Sealy Gosset, juste à côté de St. Patrick's Tower, où se trouvait le laboratoire de contrôle de Guinness
En tant qu’ancien enseignant de statistiques, j’expliquais avec enthousiasme à mes collègues à quel point nous avions la chance de travailler là, mais cela ne suscitait presque aucune réaction
J’ai proposé il y a longtemps que William Sealy Gosset soit honoré sur un timbre irlandais, mais rien ne s’est passé, et j’espère qu’il sera un jour davantage reconnu
Guinness était très en avance sur son temps, et ressemblait à bien des égards au Google de l’époque. Ils fournissaient des logements, offraient de hauts salaires et d’excellentes prestations sociales
Mon grand-père y a travaillé, et tous les frères et sœurs de mon père ont appris à nager dans la piscine de Guinness
Autre anecdote amusante : le widget conçu pour produire une belle mousse dans les canettes a été élu invention de l’année, et c’était la même année que l’invention d’Internet
Pour d’autres histoires intéressantes sur Guinness, cet article vaut le détour : https://www.thefitzwilliam.com/p/no-great-stagnation-in-guin...
De la même manière qu’aujourd’hui on règle les débats de comptoir avec Google, le livre avait justement été publié pour cet usage à l’époque
Je suis allé à l’école à côté de la brasserie Guinness, et je crois que je n’oublierai jamais l’odeur du houblon en ébullition
Mais l’école était très pauvre à bien des égards et, même pendant les années 1980 en Irlande, marquées par le chômage de masse et une forte émigration, Guinness n’a pas sponsorisé l’équipement de l’équipe de football de l’école
Ironiquement, un ancien élève a donné quelques Apple Mac et une dizaine d’Apple IIe, ce qui a offert à l’école une salle informatique en avance sur son temps
C’est probablement là que j’ai commencé à acquérir mes premières compétences, en apprenant seul la programmation BASIC
Pour revenir au sujet, Guinness a toujours été intelligent et en avance sur son époque, et y décrocher un emploi revenait presque à gagner à la loterie, avec un poste assuré à vie
J’adore ce genre d’histoires.
J’ai eu la chance d’apprendre cela dans un manuel de statistiques de premier cycle et, plus tard, lors d’une visite de la brasserie Guinness à Dublin, il y avait aussi une petite exposition sur Gosset. Cela dit, Gosset travaillait en réalité dans une brasserie située en Angleterre
Une autre anecdote amusante apprise en chimie organique est que le compositeur russe Alexander Borodin, auteur de « In the Steppes of Central Asia » et de « Prince Igor », composait pendant son temps libre ; son vrai métier était celui de chimiste organicien, codécouvreur de la réaction aldolique
https://en.wikipedia.org/wiki/Alexander_Borodin
Cette anecdote a été abordée lors d’une présentation en 2019
Pour lui rendre vraiment justice, il aurait fallu apporter une Guinness sur scène et l’ouvrir en direct
C’est une vidéo EuRuKo tournée dans un ancien paquebot reconverti en hôtel et espace de conférence : https://youtu.be/Aczy01drwkg?si=lsVWAFv9f3eLc2fZ&t=1095
Ce n’est pas vraiment surprenant. Presque toute l’industrie manufacturière semble offrir un environnement parfait pour éprouver des méthodes statistiques
L’échelle est suffisante pour que de subtiles différences permettent d’économiser beaucoup d’argent, donc les gains arrivent assez vite
Le test t m’a toujours impressionné : simple par rapport à des techniques plus avancées, mais très ingénieux
Au début des années 1900, la culture et l’agriculture ont énormément bénéficié de la variance analysis (ANOVA), des facteurs de blocage, des facteurs de confusion, des facteurs·niveaux·plages, et des plans factoriels complets
Aujourd’hui, des notions comme la statistique F ou la valeur critique de F vont de soi
Le texte original donne malheureusement l’impression de passer à côté, dans l’ensemble, du travail de Gosset et du cœur du test t
C’est une façon de faire typique des personnes formées à l’hypothesis testing de signification nulle moderne, qui mélange Gosset/Fisher/Pearson/Neyman
L’important n’est pas qu’on puisse calculer une p-valeur, mais qu’il s’agit d’un cadre de décision permettant d’arbitrer entre taux de faux positifs et taux de faux négatifs pour prendre une décision économiquement rationnelle : https://www.tandfonline.com/doi/full/10.1080/00031305.2018.1...
Dans ce cas, les registres de la brasserie documentaient déjà bien le taux de lots défectueux grâce aux tests et à la dégustation, ce qui permettait de décider quelle proportion de lots « mauvais » accepter en échange d’une réduction du coût liée à un certain nombre d’échantillons de test
Par exemple, si l’on décide d’accepter, par faux négatif, 1 mauvais lot sur 100, et de rejeter 1 bon lot sur 20, alors on obtient la taille d’échantillon nécessaire n
Si l’on réduit la variance des mesures, le nombre d’échantillons requis pour obtenir le même compromis diminue, ce qui se traduit directement en économies sur les matériaux rebutés ou les coûts de test
Comme il valait mieux que la taille d’échantillon soit la plus petite possible, Student ne pouvait pas utiliser d’asymptotiques ni d’approximation, qui pouvaient se tromper de plusieurs ordres de grandeur. Il a même tenté des tests avec n = 2
Ou bien ils cherchaient peut-être à optimiser très finement le degré d’alcool pour qu’il ne dépasse pas le seuil fiscal tout en n’étant pas assez bas pour décevoir les clients
Gosset a calculé que « pour obtenir les odds de 10 contre 1 avec la précision requise, à savoir une précision de 0,5, il faut utiliser la moyenne d’au moins quatre mesures », ce dont le conseil d’administration de Guinness s’est réjoui
Si cela ressemble à de la théorie bayésienne subjective de la décision, c’est bien le cas, mais Student l’aurait sans doute rejetée, comme la plupart des statisticiens, et aurait insisté sur le fait qu’aucun Bayes n’était nécessaire puisqu’il s’agissait de populations avec des taux de base connus, donc simplement de théorie fréquentiste de la décision
Je me demande parfois à quel point le test t est réellement utile, comparé à deux boîtes à moustaches avec les points légèrement décalés, ou à une autre représentation indiquant le nombre de données
Si cela n’apparaît pas clairement sur une boîte à moustaches, je me demande si, en supposant qu’il y ait suffisamment de points, on peut vraiment avancer un argument convaincant avec le seul test t
Le test t peut être calculé et vérifié indépendamment