Cesser d’utiliser les box plots (2021)
(nightingaledvs.com)- Le box plot est un graphique classique destiné à résumer une distribution, mais il faut plusieurs minutes pour expliquer comment le lire, ce qui donne un faible rapport bénéfice/coût d’apprentissage
- Parmi des milliers de participants à des ateliers, la proportion sachant déjà lire un box plot était généralement inférieure à 20 %, et la charge de compréhension était plus élevée que pour un nuage de points ou un histogramme
- La conception traditionnelle, avec sa boîte, ses moustaches, sa ligne de médiane et ses longueurs de segments, s’écarte de la signification réelle des données et peut facilement créer des malentendus visuels
- Tout en exigeant des notions abstraites comme les quartiles, il peut masquer les trous, les distributions multimodales et le nombre de valeurs par groupe, et faire ressembler plusieurs distributions à une courbe en cloche
- Les strip plots, les strip plots avec jitter et les heatmaps de distribution se comprennent plus vite et montrent directement la forme de la distribution, ce qui peut les rendre plus pratiques pour la prise de décision au quotidien
Pourquoi j’ai presque cessé d’utiliser les box plots
- Expliquer comment lire un box plot peut prendre plus de 4 minutes ; pour justifier ce coût d’apprentissage, il faudrait qu’il apporte des insights importants qu’un graphique plus simple ne pourrait pas transmettre
- En pratique, la plupart des insights que l’on cherche à transmettre avec un box plot peuvent aussi l’être avec des graphiques plus familiers et plus simples
- Alors que l’objectif est de montrer une distribution, le public doit d’abord franchir plusieurs étapes de règles d’interprétation avant de voir les données
Les obstacles à la compréhension révélés en atelier
- Des milliers de participants à des ateliers avaient, dans l’ensemble, un niveau de graphicacy supérieur à la moyenne, mais la proportion sachant déjà lire un box plot était généralement inférieure à 20 %
- Le box plot était plus difficile à comprendre que d’autres types de graphiques de base, et imposait même une charge plus forte que des graphiques complexes comme les nuages de points ou les histogrammes
- Même lorsque le public connaît les box plots, leur interprétation demande plus d’effort cognitif que les strip plots ou les heatmaps de distribution, avec un risque de malentendu plus élevé
Là où la conception traditionnelle contredit l’intuition
- Le box plot traditionnel est la forme proposée pour la première fois par Mary Spear en 1952, puis affinée par John Tukey en 1969
- Les principaux problèmes de conception visuelle sont au nombre de trois
- La boîte épaisse semble représenter davantage de valeurs ou une plus grande importance que les fines moustaches, alors que les quatre intervalles contiennent tous le même nombre de valeurs
- La boîte centrale ressemble à un seul bloc divisé par la ligne de médiane, ce qui donne l’impression de trois parties au total, alors qu’il s’agit en réalité de quatre intervalles de quartiles
- Les gens perçoivent une forme plus longue comme une plus grande quantité, mais dans un box plot, un intervalle plus long ne signifie pas davantage de valeurs
- Un intervalle court indique en réalité une densité de valeurs plus élevée, mais il paraît visuellement représenter une quantité plus faible, ce qui crée un conflit entre la forme visuelle et le sens des données
- Des conceptions alternatives peuvent rendre plus explicite le fait qu’un intervalle court signifie une forte concentration de valeurs, éviter d’accentuer inutilement les deux intervalles centraux et faire apparaître quatre formes distinctes
- Toutefois, même ces conceptions sont difficiles à recommander dans la plupart des situations, et un graphique de distribution plus simple peut être un meilleur choix
Le coût d’apprentissage créé par les quartiles
- Pour comprendre un box plot, il faut connaître les quantiles, et en particulier les quartiles, qui divisent un ensemble de valeurs ordonnées en plages contenant le même nombre de valeurs
- Beaucoup de publics ne connaissent pas ces notions ; pour les comprendre correctement, il faut une explication de plusieurs minutes avec supports visuels et exemples
- Pour interpréter correctement le graphique, il faut donc d’abord assimiler suffisamment ces concepts abstraits
- De nombreux insights utiles sur une distribution peuvent être transmis par d’autres graphiques sans quantiles ni quartiles
La familiarité ne garantit pas une bonne conception
- Les personnes qui voient des box plots depuis longtemps ont peut-être appris à contourner leurs défauts de conception lors de l’interprétation
- Les personnes qui les découvrent peuvent facilement être désorientées par ces mêmes défauts
- Dans une organisation, même si un analyste essaie de communiquer un insight important avec un box plot, il peut échouer à convaincre si les décideurs ne veulent pas apprendre à le lire
- Si l’analyste en conclut ensuite que le public ne comprend pas les graphiques de distribution en général, il risque d’attribuer le problème à la visualisation des distributions dans son ensemble plutôt qu’au box plot lui-même
- Utiliser des graphiques de distribution plus intuitifs peut augmenter les chances de communiquer les insights précieux issus de ces visualisations
Comment le box plot déforme les distributions
- Lorsque l’on compare les mêmes données sous forme de box plot et de strip plot avec jitter, le box plot peut faire paraître presque similaires des distributions de groupes différents
- Il a tendance à donner l’impression d’une distribution en cloche, avec des valeurs concentrées autour de la médiane et diminuant progressivement de part et d’autre
- Même si l’ensemble réel de valeurs n’a pas une forme en cloche, il peut apparaître ainsi dans un box plot
- En ne regardant qu’un box plot, il est difficile pour le lecteur de savoir si toutes les distributions sont réellement en cloche ; au mieux, il doit le deviner
- Il peut aussi masquer les trous dans la distribution et le nombre de valeurs de chaque groupe
- Il existe des variantes de box plots ou des graphiques sophistiqués qui montrent plus précisément la distribution, mais ils ne résolvent pas le problème central du box plot, à savoir sa difficulté d’apprentissage, et peuvent même être plus difficiles
Des graphiques alternatifs plus intuitifs
- L’alternative la plus utilisée est le strip plot
- Il peut s’expliquer en une phrase, par exemple « chaque point représente l’âge d’un participant à l’étude »
- La plupart des publics peuvent le comprendre en quelques secondes
- Il permet de voir si une distribution est plus haute ou plus basse, concentrée ou dispersée, régulière ou asymétrique, et si elle comporte des valeurs aberrantes
- Il révèle aussi les trous dans la distribution, les distributions multimodales et le nombre approximatif de valeurs dans chaque ensemble, que le box plot ne montre pas
- Lorsque le nombre de valeurs dépasse quelques dizaines, les points peuvent se chevaucher et le strip plot peut ressembler à une ligne ; dans ce cas, un strip plot avec jitter peut accueillir davantage de valeurs
- S’il y a des centaines, voire des millions de valeurs, même un strip plot avec jitter peut devenir un amas de points superposés ; dans ce cas, une heatmap de distribution peut traiter n’importe quel nombre de valeurs
- La heatmap de distribution introduit la notion de bin ou d’intervalle, ce qui augmente la complexité, mais un bin est bien plus facile à comprendre qu’un quartile
- La heatmap de distribution perd la capacité de voir le nombre de valeurs par groupe et présente quelques limites, mais le box plot a les mêmes limites, avec d’autres contraintes en plus
- Les frequency polygons, les violin plots, les cumulative distribution plots et les bee swarm plots peuvent aussi être utiles dans certains contextes
- Les histogrammes sont généralement utiles pour visualiser un seul ensemble de valeurs, tandis que les box plots et leurs alternatives servent plutôt à comparer plusieurs ensembles de valeurs
Les avantages et usages limités du box plot
- Le seul avantage que l’on puisse reconnaître au box plot est qu’il montre l’intervalle interquartile
- Mais il n’est pas si fréquent que le message à transmettre avec les données exige absolument de montrer l’intervalle interquartile
- Dans la plupart des cas, ce dont on a besoin est de comparer les distributions en termes de niveau haut ou bas, de concentration ou dispersion, et de présence éventuelle de valeurs aberrantes ; ces insights peuvent être transmis sans intervalle interquartile avec des graphiques plus simples
- Même lorsqu’une médiane est nécessaire, elle peut être facilement ajoutée à un graphique plus simple
- Il est difficile d’imaginer une situation où le box plot serait réellement le meilleur choix, à part lorsque le public l’exige parce qu’il y est habitué
Pourquoi il faut s’éloigner des box plots
- Le box plot n’est pas tant un graphique autrefois excellent mais devenu obsolète avec les progrès techniques ; il est plutôt considéré comme n’ayant jamais été très bien conçu au départ
- Ses défauts de conception ont imposé inutilement aux étudiants, aux dirigeants et aux autres lecteurs de graphiques un processus de compréhension laborieux
- Aujourd’hui, il est facile de créer de meilleurs graphiques ; s’éloigner des box plots peut donc épargner aux lecteurs futurs une peine cognitive inutile
- Même pour un public à l’aise avec les statistiques, un autre graphique peut être un meilleur choix dans presque toutes les situations
- Les praticiens devraient envisager des alternatives surtout lorsque leur public n’est pas familier avec les box plots, et peuvent aussi examiner des graphiques plus intuitifs même pour un public qui les connaît
1 commentaires
Réactions sur Hacker News
Ici, l’auteur et d’autres personnes semblent se mélanger les pinceaux. Un box plot ne rend pas une distribution en cloche et ne modifie pas non plus la distribution, mais il suppose que les données suivent une distribution en cloche/gaussienne
C’est vrai si l’on peut appliquer le théorème central limite, mais sinon l’hypothèse est fausse et ce que montre le box plot n’est pas très utile. Le box plot a bien une utilité réelle, mais pour l’utiliser il faut comprendre les bases des statistiques
On peut donc critiquer l’usage du box plot. Les alternatives montrent bien les distributions en cloche, tout en révélant aussi quand elles ne le sont pas
Je suis tout à fait d’accord sur le fait qu’un box plot ne devrait servir que pour des distributions unimodales suffisamment proches d’une forme en cloche/gaussienne. Si la distribution n’est pas en cloche, par exemple si elle est bimodale, cela induit en erreur et il ne faut pas l’utiliser ; si elle est en cloche, cela semble aller
Si l’on veut prendre la distribution de l’échantillon lui-même comme substitut de la population, la forme de la distribution des moyennes d’échantillons n’est pas si intéressante. L’estimation de la moyenne n’est pas la seule mesure utile, et presque rien dans la nature ne suit une distribution normale. Si la distribution normale est utile, c’est surtout parce qu’on connaît bien la forme analytique de la fonction gaussienne et la manière de la manipuler, pas parce que cette approximation est aussi utile qu’elle en a l’air. Par exemple, la distribution de Poisson est bien plus fréquente
L’exemple est une distribution bimodale à deux pics, et il a choisi un box plot, un type de graphique conçu pour une forme à un seul pic. Franchement, c’est assez difficile à comprendre
Le seul avantage du box plot, c’était qu’on pouvait le tracer à la main. Maintenant que les ordinateurs sont partout, cette valeur a disparu
Les violin plots et les swarm plots sont meilleurs, et les strip plots avec jitter sont aussi acceptables si l’on fait attention aux zones saturées. Ajouter des points dans une zone saturée ne la rend pas plus sombre, donc ils peuvent sembler disparaître
Si on veut, on peut aussi y superposer des points avec jitter
Angela Collier a fait une très bonne vidéo-rant pour expliquer pourquoi : https://youtu.be/_0QMKFzW9fw?si=86mRAZRnFCBfSzw0
Les box plots sont assez utiles parce qu’ils sont faciles à lire, mais seulement si l’on a confiance dans le fait que l’auteur a réellement vérifié l’histogramme ; or, en général, on n’a pas cette confiance
Les gens ont des objectifs contradictoires. D’un côté, ils veulent compresser beaucoup de nombres en une ou quelques statistiques de synthèse, mais dès que ces résumés deviennent ne serait-ce qu’un peu trompeurs, ils regrettent aussitôt cette compression des données
Cela vient du désir d’une simplicité qui n’existe peut-être pas réellement, surtout quand on veut des conclusions définitives ; c’est presque une pathologie ordinaire de la condition humaine
La distribution qu’un box plot représente n’est souvent elle-même que la distribution d’« un seul échantillon ». Vue ainsi, la distribution a une incertitude intrinsèque, et par exemple un violin plot n’exprime pas cette incertitude. Comme dans tous les débats sur le « bon outil pour le bon travail », les avis diffèrent selon l’expérience que chacun a des outils et la manière dont il simplifie les choses pour les expliquer aux autres
https://github.com/c-blake/bu/blob/main/doc/edplot.md
Il y a beaucoup plus de gens ici qui défendent les box plots que ce à quoi je m’attendais
Pourtant, je vois peu d’explications du type « le box plot est utile parce que c’est le meilleur graphique pour un usage précis ». Je n’arrive pas à trouver spontanément une situation où j’aimerais voir un box plot plutôt qu’un strip plot ou un violin plot. Quand et pourquoi voudrait-on résumer les données aussi grossièrement et les visualiser d’une manière aussi peu intuitive ?
Ils veulent voir la médiane, les percentiles bas/hauts, les maximums/minimums ou les valeurs aberrantes, mais pas tous les points de données dispersés au milieu. Cela devient un bruit écrasant. En réalité, ils préfèrent un tableau avec ces chiffres, mais ils veulent comparer 10 séries temporelles de prix historiques de différents marchés sur une seule slide PowerPoint. Le box plot permet de comparer rapidement visuellement la médiane et les percentiles clés. Si on utilise des valeurs non standard, il suffit d’ajouter des étiquettes de percentile. Avec du jitter ou des violin plots, les réunions déraillent parce que les gens se fixent sur des formes aléatoires bizarres
L’hypothèse importante, c’est que les processus qui génèrent ces valeurs sont tous comparables au sens physique. Les distributions sont aussi à peu près unimodales proches d’une loi log-normale. Dans ce cas, l’objectif de la visualisation n’est pas de comprendre la nature de la distribution elle-même, mais de montrer les percentiles importants du point de vue business
Si la distribution est plus complexe et qu’on a besoin de détails, mieux vaut utiliser un histogramme ou un ridge plot. Les violin plots ont juste l’air un peu plus jolis parce qu’ils sont courbés, mais ce ne sont pas le meilleur choix pour transmettre l’information
Dans ce cas, on ne regarde pas seulement les médianes de chaque population, mais aussi les zones ombrées pour les comparer
Si l’on compare plusieurs groupes et que l’on ne s’intéresse qu’aux grandes différences, c’est un excellent outil. C’est aussi utile si l’on pense que les données suivent une distribution normale et qu’un histogramme pourrait induire en erreur, et même si elles ne sont pas normales dès lors que ce sont les quartiles qui nous intéressent
Si un tableau de cinq nombres — minimum, maximum, médiane, percentiles 25/75 — suffit, alors le box plot est un bon outil pour la comparaison visuelle
Après avoir utilisé des box plots pendant des décennies à l’école, à l’université et au travail, je n’étais pas totalement convaincu par l’article
Mais après avoir lu ces commentaires, l’idée centrale de l’auteur me frappe beaucoup plus fortement : même si l’on remplit une salle de personnes intelligentes et compétentes, tout le monde peut se diviser sur la compréhension et l’interprétation des box plots
C’est un peu surprenant, mais rien que les éléments de ce fil suffisent presque à me convaincre
Il n’est pas nécessaire d’arrêter d’utiliser les box plots. Il faut les utiliser quand c’est approprié, c’est-à-dire pour montrer la position et la dispersion. Ce n’est pas un outil pour montrer la forme d’une distribution
Ils ne donnent absolument aucune information sur la modalité ou la distribution au-delà des quartiles et des bornes. Ils sont surtout utiles pour comparer plusieurs groupes plutôt que pour analyser un groupe isolé
L’auteur parle comme s’il connaissait un sujet qu’il maîtrise mal. Il le saurait s’il avait lu ne serait-ce que les travaux de Tukey ; se contenter d’invoquer son nom ne suffit pas
Mais l’auteur y voit un problème humain. Un plot n’est pas fait pour les machines, mais pour être lu par des humains, et l’auteur souhaite qu’un maximum de personnes puissent le lire et l’interpréter facilement. Même si l’enseignement des mathématiques laisse à désirer, il faut partir du réel, et cela me semble un objectif raisonnable. Je suis d’accord avec l’idée qu’il ne devrait pas être nécessaire de savoir ce qu’est un quartile pour voir à quel point une distribution est étalée
Certains semblent avoir manqué la partie la plupart des situations. Il dit simplement qu’il a arrêté d’utiliser les box plots parce que, pour une raison ou une autre, ils ne fonctionnaient pas pour son public. Comme le suggère le titre, nous devrions nous aussi reconsidérer l’usage des box plots et voir s’il existe de meilleures alternatives
Il faut aussi garder à l’esprit le lectorat dont il parle. Non pas les personnes qui comprennent les box plots, mais celles qui ne les connaissent pas ou ne les comprennent pas. Selon ses propres mots, ce sont les milliers de personnes à qui il a dû les expliquer
Les box plots sont une technique de compression de données pour le travail manuel. Aujourd’hui, il existe des techniques automatisées qui préservent bien mieux la qualité des données et la qualité visuelle
L’auteur admet les généralisations et les « cas particuliers » pour certains plots, mais considère que les cas particuliers d’autres plots n’ont aucune valeur
La conclusion que j’en tire, au mieux, c’est simplement qu’il ne faut pas utiliser de box plot si la distribution n’est pas unimodale et risque fortement d’être mal interprétée. Il existe même une vidéo d’un youtubeur râleur sur la physique que j’aime bien, où il critique les violin plots, donc peut-être qu’il ne faut pas non plus les utiliser
https://youtu.be/_0QMKFzW9fw?si=4VM4DT9Q1zEnV93A
Les box plots sont un vestige d’une époque où l’on ne pouvait pas imprimer de beaux graphiques
On peut afficher une distribution sur une seule ligne, comme un oscilloscope défilant ou une carte topographique, ou tracer un density plot au fil du temps, puis superposer des zones ombrées pour les périodes importantes. Il suffit de regarder du côté des processus gaussiens
Les box plots simplifient excessivement une distribution, ce qui rend l’inférence plus facile. De la même manière, la moyenne peut elle aussi être très trompeuse, mais on n’irait pas jusqu’à interdire son usage
La bonne conclusion est peut-être qu’il faut toujours utiliser des graphiques qui représentent honnêtement la distribution sous-jacente
Il suffit de faire comme l’exigent désormais les revues de la famille Nature : superposer les points de données bruts au box plot, ce qui permet d’obtenir les avantages des deux côtés