98 %, ce n’est pas tant que ça
(whynothugo.nl)- Un taux de 98 % peut sembler élevé pour une performance exceptionnelle, comme gagner à la loterie ou obtenir la meilleure note à un examen, mais il peut être insuffisant dans des domaines comme les sites web, qui sont censés fonctionner par défaut
- Dans des situations liées à une attente de base — un restaurant sans intoxication alimentaire, un employeur qui paie les salaires à temps, un client qui règle l’addition avant de partir —, même 2 % d’échec deviennent un préjudice répété
- Si un site web utilisant une nouvelle fonctionnalité de navigateur ne fonctionne que pour 98 % de la population, cela signifie qu’environ 150 millions de personnes sont exclues
- Un « support à 98 % à l’échelle de la population totale » peut différer de la répartition réelle des visiteurs, et sur le site d’un client, la prise en charge de nested CSS parmi les navigateurs ayant visité le site au cours de l’année écoulée n’atteignait qu’environ 70 %
- Si une nouvelle fonctionnalité ne peut pas se dégrader élégamment, un support de 98 % ne signifie pas qu’elle est « largement prise en charge », mais qu’elle ne remplit pas les conditions minimales de base pour certains utilisateurs
Quand 98 % ne suffit pas
- 98 % n’a pas du tout la même signification selon le contexte
- Avoir 98 % de chances de gagner à la loterie, ou 98 % de chances d’obtenir la meilleure note à un examen, est un très bon résultat
- Si les clients d’un restaurant n’ont que 98 % de chances d’éviter une intoxication alimentaire, il peut y avoir des personnes malades chaque mois, voire chaque semaine
- Si un employeur ne verse les salaires qu’avec 98 % de probabilité, ou si les clients d’un restaurant ne règlent l’addition qu’avec 98 % de probabilité avant de partir, cela devient difficile à accepter
- Dans les situations où une attente de base est en jeu, un taux d’échec de 2 % devient déjà un problème majeur
- Si un site web ne fonctionne que pour 98 % des gens, il ne fonctionne pas pour environ 150 millions de personnes
- Si une modification d’un site web ne fonctionne que pour 98 % des visiteurs, cela revient en pratique à écarter 2 % des utilisateurs existants
Écart entre le taux de support navigateur et les visiteurs réels
- Un taux de support mesuré sur l’ensemble de la population peut différer du taux de support parmi les visiteurs réels d’un site
- Même si une fonctionnalité fonctionne pour 98 % de la population totale, elle peut ne fonctionner que pour 70 % des utilisateurs réels d’un site donné
- Le cas de nested CSS illustre bien cet écart
- nested CSS est un standard depuis 2023, mais considérer qu’on peut l’utiliser « en toute sécurité » peut ne pas être valable tel quel pour un site précis
- En examinant la répartition des navigateurs ayant visité le site d’un client au cours de l’année écoulée, environ 70 % seulement des navigateurs visiteurs prenaient en charge cette nouvelle fonctionnalité CSS
- Une fonctionnalité généralement perçue comme « largement prise en charge » pouvait malgré tout exclure 30 % des visiteurs de ce site
- Une ingénierie robuste consiste moins à faire fonctionner quelque chose pour la majorité qu’à gérer avec élégance les cas d’exception
- Si une nouvelle fonctionnalité ne se dégrade pas élégamment, un support de 98 % laisse 2 % des utilisateurs sans satisfaction des conditions minimales de base
1 commentaires
Avis de Hacker News
98 % suffit souvent
Si un business plan ne tient que s’il faut absolument capter plus de 98 % du marché, c’est déjà un plan voué à l’échec, et il y a de fortes chances que cela n’arrive pas.
Comme toujours, c’est une question de « ça dépend ». Si votre base d’utilisateurs est globalement peu à l’aise avec la technologie, vous devrez peut-être prendre en charge des navigateurs de plus de dix ans qui ne reçoivent même plus de mises à jour ; sinon, il peut suffire de se soucier des personnes qui utilisent un ordinateur leur permettant de mettre à jour leur navigateur au moins une fois par an.
Au final, le compromis est entre complexité du code et temps de développement d’un côté, et marché plus vaste de l’autre, et chaque entreprise doit en juger séparément.
On dit que « si ça fonctionne pour 98 %, ça ne fonctionne pas pour environ 150 millions de personnes », mais si vous ne pouvez cuisiner que pour 70 personnes par soir, vous ne pouvez de toute façon pas accueillir ces 150 millions de personnes qui n’ont pas accès à un navigateur récent. Et ceux qui pourraient utiliser un navigateur récent mais ne le font pas ont probablement peu de chances d’apprécier ma cuisine non plus.
Pour survivre, un restaurant n’a pas besoin de satisfaire 8 milliards de personnes ; il lui suffit de satisfaire environ 1 000 personnes qui reviennent pour un anniversaire, une fête ou le plaisir d’une cuisine créative.
Quand je travaillais comme chef sur un yacht, il suffisait de satisfaire 10 personnes, et j’ai adopté une approche où l’équipage et les invités mangeaient tous la même chose. En faisant moi-même les courses au lieu de dépendre de sociétés d’avitaillement, le coût mensuel de nourriture quand les invités restaient un mois à bord est passé d’environ 30 000 dollars à 10 000 dollars. Vers 2005, les ingrédients à St. Barts étaient chers parce qu’ils étaient acheminés par avion chaque jour depuis la France, mais cela m’a quand même permis de servir à l’équipage des plats comme du chateaubriand ou de l’osso buco.
Ainsi, la nourriture équilibrée, riche en fibres et saine que j’avais envie de manger tous les jours est devenue celle que tout le monde mangeait tous les jours.
Certains demandent si les invités ou les propriétaires ne me disaient pas ce qu’ils voulaient manger chaque jour. Le mari était PDG d’une entreprise du Fortune 500 et, même après sa retraite, président du conseil d’administration. Il prenait chaque jour des décisions à plusieurs milliards de dollars, et sa femme était elle aussi extrêmement occupée. Répondre chaque soir à la question du menu était l’une des choses qu’ils avaient le moins envie de faire, et ils m’avaient délégué cette décision. J’ai toujours préparé ce que j’avais envie de manger, et j’ai toujours visé juste.
Satisfaire tout le monde est impossible. Mieux vaut ne pas essayer. On finit par se briser.
Quiconque a déjà fait du développement web ou mobile sait qu’il existe une quantité énorme de combinaisons de navigateurs et de plateformes, et que prendre en charge toute la longue traîne des configurations est parfois quasiment impossible, avec un rapport coût/bénéfice presque nul. Quand je gérais quelques web apps, autrefois, une part importante des erreurs venait de plugins de navigateur cassés, et parfois malveillants. Je ne peux pas tester toutes les combinaisons arbitraires de plugins de navigateur contre mon site pour vérifier si elles fonctionnent.
Au bout du compte, cela dépend vraiment du contexte, et c’est pour ça que je n’aime pas les recommandations générales comme dans l’article. Si 2 % des utilisateurs de Gmail ne pouvaient soudainement plus se connecter, ce serait un incident majeur touchant des dizaines de millions de personnes. Mais comme le dit l’adage « vous n’êtes pas Google », pour beaucoup de petits sites d’e-commerce, cela n’a aucun sens de s’acharner à corriger le cas d’une personne qui utilise un navigateur vieux de plus de dix ans. Comme le disent d’autres commentaires, ce type d’utilisateur fait de toute façon partie de ceux qui ont le moins de chances de convertir en achat.
De même, si un site web a le moindre effet de réseau social, ignorer une partie de la population entraîne une baisse d’usage bien plus importante que la proportion directement touchée.
Même si la fonctionnalité du site elle-même n’a pas de composante sociale, toutes les entreprises subissent l’effet de réseau du bouche-à-oreille. Les gens partagent beaucoup plus volontiers les expériences négatives que les positives ; donc si 1 personne sur 50 a l’impression que le site est cassé, une part importante des retours en ligne sera négative, ce qui nuira à la réputation sur l’ensemble du marché, pas seulement auprès de ces 2 %.
En affaires, il faut travailler dur même pour gagner une petite partie du marché adressable total. Réduire volontairement ce marché dans le cadre d’une décision stratégique de ciblage est acceptable, mais exclure des gens sans vraie raison n’a aucun sens. Qu’un restaurant de BBQ au Texas n’ait pas d’option végétarienne, c’est acceptable parce que personne n’y va en s’attendant à cela ; mais pour un restaurant généraliste, ne pas proposer ne serait-ce que quelques plats végétariens est idiot. Exclure des gens parce que des développeurs web ont la flemme d’utiliser des approches qui fonctionnent correctement depuis vingt ans et préfèrent une nouvelle technologie brillante l’est encore plus.
Par exemple Uber, les sites liés aux visas et à l’immigration, ou les sites de réservation de compagnies aériennes low-cost.
Bien sûr, ce n’est généralement pas aussi extrême, mais il faut en tenir compte. Une mauvaise réputation se propage plus vite qu’une bonne.
Et si quelque chose était déjà pris en charge, il suffit de ne pas le casser. En général, c’est plus facile que de le faire fonctionner dès le départ.
Cette année, après Noël, en retirant le sapin du salon, des aiguilles sont tombées partout pendant le déplacement. J’ai balayé, mais au premier passage j’en ai raté plusieurs endroits, et même au deuxième il en restait quelques-unes.
C’est là que j’ai vraiment compris que retirer plus de 99 % des aiguilles ne suffit absolument pas. Beaucoup de tâches de nettoyage semblent être comme ça. Même une toute petite saleté est visuellement évidente. En fait, plus on se rapproche de 100 %, plus ce qui reste paraît ressortir.
Je suis d’accord avec l’idée générale, mais le problème ici n’est pas que les développeurs ne sont pas à l’aise avec les statistiques : c’est simplement que la plupart de tout cela fonctionne autour du profit.
La semaine dernière, j’ai essayé d’acheter des billets pour un événement, et le seul canal officiel était Ticketmaster. Ils imposaient la vérification du compte par numéro de téléphone, mais le prestataire de messagerie qu’ils utilisent n’a pas réussi à envoyer le code à mon numéro. J’ai aussi essayé avec quelques numéros à la maison, tous sans succès.
En cherchant, j’ai trouvé beaucoup de cas similaires, donc c’était clairement un problème connu, mais je ne pouvais pratiquement rien faire. Pour eux, c’est un simple calcul. Un autre fournisseur de SMS couvrant mon petit pays de l’UE pourrait coûter plus cher. Il se peut aussi qu’ils veuillent éviter des fraudeurs ayant exploité mon opérateur mobile par le passé. Quoi qu’il en soit, le coût de résolution est probablement supérieur à la perte liée aux billets non vendus.
À moins qu’une autorité publique ne les y oblige, le fait que je puisse voir cet événement ne les intéresse guère.
Il arrive un point où la technologie devient le socle de la participation à la société. À ce moment-là, il faut la réglementer pour qu’elle soit accessible à tous.
Cette attitude vient du privilège de n’avoir jamais été cet utilisateur des 2 %. Il est facile de penser ainsi, jusqu’au jour où nous devenons nous-mêmes ces 2 % et que nous ne pouvons plus utiliser le système.
Quand je travaillais sur une app iOS, j’étais constamment agacé par le fait que le tech lead et le product management insistaient pour ne prendre en charge que la version majeure actuelle de l’OS et la précédente. Les ingénieurs passaient du temps à supprimer la prise en charge d’iOS X-2 au lieu de corriger des bugs, d’améliorer les performances ou de développer des fonctionnalités. C’était du code qui ne bloquait pas le refactoring, qui n’était pas particulièrement bogué et qui ne nuisait pas à l’architecture. À mes yeux, c’était juste une façon d’embêter les utilisateurs ; je ne le comprenais pas à l’époque, et je ne le comprends toujours pas.
J’utilise maintenant un téléphone vieux de 8 ans et, sans surprise, environ la moitié des apps de l’App Store ne fonctionnent plus à cause de ce genre d’attitude. Donc, manifestement, je fais désormais partie des 2 %.
L’idée plus générale, c’est que les pourcentages peuvent être trompeurs. C’est d’ailleurs pour cela qu’ils sont souvent utilisés : ils donnent une meilleure impression.
Une manière généralement plus précise consiste à utiliser une notation sous forme de rapport de probabilité, comme « 1 personne sur 50 » au lieu de 98 %. Les pourcentages présentent une sorte de singularité aux deux extrémités, et de petites variations numériques peuvent représenter de grands écarts dans la réalité. Passer de 98 % à 99 % de réussite semble anodin, mais cela revient à faire passer l’échec de 1 personne sur 50 à 1 personne sur 100. L’effet a donc doublé.
Le SPF en est un bon exemple. Un SPF 30 laisse passer 1/30 des UV, soit 3 %, et en bloque 29/30, soit 97 %. Un SPF 50 laisse passer 1/50, soit 2 %, et en bloque 49/50, soit 98 %. Dans ce cas, l’exprimer avec le dénominateur rend l’effet bien plus intuitif.
Comparer SPF 30 et 50 met beaucoup mieux en évidence l’augmentation de l’effet que comparer 97 % et 98 %.
On pourrait aussi l’exprimer en quantité transmise, mais le nom est Sun Protection Factor, pas Sun Transparency Factor.
Mais il existe aussi des cas où de petites différences aux extrémités restent réellement petites, notamment pour l’espérance. Prenons par exemple le cas où l’on reçoit 100 dollars avec une probabilité de 98 %, et celui où l’on reçoit 100 dollars avec une probabilité de 99,9 %.
L’espérance du second n’est que légèrement supérieure à celle du premier : 99,9 dollars moins 98 dollars, soit 1,90 dollar de différence. En revanche, l’écart de cotes est très important : (0.999/0.001)/(0.98/0.02)≈20.39. Autrement dit, une probabilité de 99,9 % correspond à une cote de 999 contre 1, tandis qu’une probabilité de 98 % correspond à 49 contre 1 ; la première est donc plus de 20 fois plus élevée, mais le gain espéré est presque le même.
Article connexe : Science is a strong-link problem
https://news.ycombinator.com/item?id=35712694
Quelque chose comme une loterie est un problème à lien fort. La valeur du système est égale à celle de son lien le plus fort. La sécurité alimentaire est un problème à lien faible. La sûreté d’un repas est déterminée par la bouchée la moins sûre.
L’auteur semble défendre, à propos du CSS, un critère de lien faible : ce que voit la majorité importe davantage, et un ou deux grands succès ne compensent pas les échecs.
Cela me fait penser à la chanson de Meat Loaf « Two Out of Three Ain’t Bad ». Au Japon, elle est sortie sous un titre du genre 66%の誘惑, « 66% is Good Enough » https://www.discogs.com/release/8303076
Je pense qu’il existe deux grands types de problèmes : ceux pour lesquels on peut obtenir un crédit partiel, et ceux pour lesquels ce n’est pas possible.
L’exemple du restaurant relève de la seconde catégorie. Dire que 98 % de la nourriture est sûre ne suffit pas : c’est tout ou rien. Il en va de même pour la paie des employés : c’est tout ou rien, sinon c’est un gros problème. Rater ne serait-ce qu’un seul salaire devient un énorme souci.
Mais le CSS d’un site web peut, dans une certaine mesure, recevoir un crédit partiel. Même s’il n’est pas parfait, il peut théoriquement apporter une partie de la valeur.
Lorsque l’on mesure un pourcentage de « complétion », il est vraiment important de savoir à quel type de problème on a affaire.
Cela me rappelle une statistique selon laquelle la plupart des clients ne vont plus dans un supermarché donné s’il cesse de vendre quelques produits qu’ils veulent
Ne plus proposer une marque de pâte à tartiner au chocolat peut sembler anodin, mais si, à cause de cela, un client n’achète pas non plus dans ce magasin les 12 autres produits alimentaires dont il a besoin, le fait que les produits retirés ne représentent que 2 % du total n’a pas grande signification. Si l’assortiment des supermarchés reste stable, ce n’est pas parce que personne ne crée de nouveaux produits, mais parce que même une faible proportion de changements agace les clients
Si je ne peux pas passer commande sur un site web, je n’essaie plus. La semaine suivante, mon navigateur ESR sera peut-être mis à jour et ça marchera peut-être, mais d’ici là je ne cliquerai plus sur ce lien dans les résultats de recherche
Une partie du problème tient au fait que les sites web des gouvernements américain et britannique appliquent la « règle des 2 % » et ne prennent officiellement en charge que 98 % des usages
Il y a trois ans, on disait que la part de Firefox, à 2,2 %, s’approchait du seuil où sa prise en charge par les sites gouvernementaux risquait d’être abandonnée ; elle est maintenant tombée à 1,9 %
https://news.ycombinator.com/item?id=36776603
D’après https://analytics.usa.gov/, « il y a eu 1,66 milliard de sessions au cours des 30 derniers jours ». Si le calcul est correct, 2 % représentent 33 millions de sessions
Je n’aime pas qu’on traite les gens comme des chiffres
98 %, ce n’est ni beaucoup ni peu. C’est simplement faux
Si je fais partie de ces 2 %, pour moi c’est tout. Il peut y avoir une bonne raison pour laquelle je suis dans ces 2 %. Et l’attitude consistant à ne pas s’en soucier peut être mauvaise
Je pense qu’un site web qui ne fonctionne que pour 2 % des gens pour de bonnes raisons vaut mieux qu’un site qui ne fonctionne pas pour 2 % des gens pour de mauvaises raisons