Celui qui convoite la certitude convoite le mensonge

• Le graphique de fréquence des mots de Google Ngram Viewer peut déformer l’évolution de l’usage de l’anglais au XXe siècle à cause des données de Google Books et de défauts de formule, au point de faire croire que des mots courants comme said et toast ont disparu dans les années 1970-1980 avant de réapparaître
• Le corpus Google Books accorde un poids important aux fonds universitaires ainsi qu’aux revues scientifiques et académiques modernes et aux manuels, ce qui peut gonfler la fréquence de certains mots et abaisser relativement la fréquence d’autres mots
• À cause du long s (ſ) des imprimés anciens, des variantes orthographiques, des pluriels et des dates erronées, Ngram ne distingue pas correctement des cas comme fuck et suck, authorise et authorize, ou dog et dogs
• Les explications étymologiques d’Etymonline reposent sur des sources imprimées et un travail humain, alors que Ngram ressemble davantage à un visuel décoratif, ce qui le rend difficile à croire lorsqu’il contredit une explication étymologique
• En ligne, l’image se choisit plus facilement que le texte, mais les graphiques Ngram ne doivent pas être traités comme une preuve définitive de l’usage des mots : ce sont des visualisations imparfaites de données

---

Les étranges fréquences de mots produites par Google Ngram

• Dans Google Ngram Viewer, la fréquence de said ressemble moins à une évolution réelle des verbes anglais au XXe siècle qu’à une courbe ondulante comparable à un graphique des températures de la dernière période glaciaire
  • Cela ne signifie pas que les auteurs anglophones des années 1970 ont soudainement cessé d’utiliser said avant de s’y remettre
• toast aussi apparaît dans Ngram comme s’il avait presque disparu de l’anglais vers 1980 avant de réapparaître
  • L’auteur compare cela à une « grande famine du toast de 1977 »
• Une partie du problème vient d’un défaut de formule de Ngram connu depuis longtemps hérité de Google Books
  • Cette erreur donne l’impression que beaucoup de mots anglais diminuent pendant tout le XXe siècle avant de renaître vers 1980
• Le corpus Google Books comprend beaucoup d’imprimés absorbés par les universités, et la part des revues scientifiques et académiques modernes ainsi que des manuels y est disproportionnée
  • Les écrits universitaires ont tendance à répéter les mêmes mots
  • En conséquence, le score de certains mots est gonflé, tandis que d’autres baissent relativement
  • Cette structure contribue à créer, dans les Ngram de presque tous les mots, un creux au milieu du XXe siècle
• said est probablement moins employé dans les écrits universitaires que dans les romans ou les journaux, alors qu’un mot comme graph y apparaît beaucoup plus souvent
  • Le Ngram de graph au XXe siècle ne montre pas le même creux

Distorsions causées par l’OCR, l’orthographe et les erreurs de date

• Dans Ngram, le F-word semble presque absent avant l’époque moderne, puis sa fréquence explose à mesure qu’on remonte avant 1820
  • Dans beaucoup de cas, il ne s’agit pas réellement de fuck, mais de l’ancien suck
  • Dans les imprimés anciens, le long s (ſ) peut ressembler à un f minuscule avec des polices vieillies et du papier bon marché
  • Ce caractère a décliné vers 1820, et parfois seul le contexte permet de distinguer f de s
  • L’auteur estime que l’IA ne sait pas faire cette différence
• Google Books reconnaît mal l’équivalence entre variantes orthographiques
  • Le Ngram de authorise diffère de celui de authorize, et ni l’un ni l’autre n’inclut authorizes
  • Même pour les noms, Ngram ne compte pas les pluriels ensemble et traite séparément dog et dogs
• De nombreux fichiers Google Books portent aussi de mauvaises dates
  • Le 1896 figurant sur la couverture d’un vieux livre de bibliothèque peut apparaître comme 1800 au scanner numérique
  • Un ensemble de brochures bibliques des années 1910 a pendant un temps été indiqué comme une publication de 1799
  • Cette date n’était pas celle de publication, mais l’année de fondation figurant dans le logo de la société biblique qui les avait imprimées
  • Une vidéo traite aussi de ce problème
• Le contenu d’Etymonline est entièrement élaboré à partir de sources imprimées et par un travail humain, contrairement à Ngram
  • Ngram est décrit comme un produit brut d’une technologie ignorante à laquelle il est difficile de faire confiance
  • Si le site intègre Ngram, c’est aussi parce qu’en ligne l’image l’emporte sur le texte
• Il vaut mieux voir Ngram comme un visuel décoratif ou distrayant que comme une preuve définitive de l’usage d’un mot
  • Si l’étymologie d’Etymonline contredit Ngram dès le départ, la position défendue ici est qu’il faut considérer Etymonline comme juste et Ngram comme faux

[GN⁺]

Commentaires sur Hacker News

• À mon avis, la meilleure partie de cet article est la critique des ngrams, et plus largement la critique de la manière dont les ngrams sont largement utilisés dans les algorithmes modernes.
  Le passage particulièrement incisif dit qu’Etymonline s’appuie sur des sources imprimées et des textes produits par des humains, tandis que les ngrams sont le produit grossier d’une technologie ignorante qui n’a même pas appris la différence entre « influence » et « inform ».
  Cela se lit comme une réfutation cinglante des algorithmes et des réseaux sociaux qui tentent de quantifier la parole et les interactions humaines, se trompent la plupart du temps, tout en cherchant à maximiser les profits de leurs propriétaires.
  À une époque où l’on entend dire que l’IA générative est, en pratique, un prédicteur de ngrams, cela prend encore plus de poids.

  • Le passage « Etymonline est entièrement constitué de sources imprimées et de textes produits par des humains, contrairement à Ngrams » me paraît un peu confus.
    Si « sources imprimées » signifie que les sources numériques ne sont pas incluses, cela ne semble pas avoir grand-chose à voir avec le problème évoqué dans l’article.
    Si l’ensemble des imprimés n’est pas inclus de manière exhaustive, on peut tout autant se retrouver avec un problème de jeu de données biaisé, et les humains peuvent aussi faire des erreurs, comme l’OCR.
  • « Être influencé » et « être informé » semblent être les deux faces d’une même pièce morale.
    C’est une façon de dire que les pensées des autres ne leur appartiennent pas vraiment, tout en affirmant que nous sommes, nous, des récepteurs vertueux d’informations qui tirons nos propres conclusions.
    Le filtre passe-bas de l’esprit n’accepte que ce qui entre dans les cadres existants.
    Si l’on ne rejette pas quelque chose, alors être informé par cette chose et être influencé par elle reviennent au même ; dans ce cadre, quelqu’un qui dit « je n’ai fait que m’informer » paraît prétentieux et manque de lucidité sur lui-même.
  • Le niveau le plus élevé de connaissance se trouve encore dans les imprimés, et il est encore produit par des humains.
    Les médias électroniques sont comme une âme dévorante : ils ne produisent pas, ils avalent.

• La blague dans les commentaires de cette page, « les éditeurs commandent-ils encore plusieurs camions de “is” à chaque dégel de printemps... », est tout à fait juste à Dictionopolis.
  Des amateurs de The Phantom Tollbooth ici ?
  https://en.wikipedia.org/wiki/The_Phantom_Tollbooth

• Le problème fondamental de l’analyse de données est que la qualité de l’analyse ne vaut que ce que vaut la qualité des données.
  Évaluer la qualité des données est déjà difficile ; savoir si les données sont bonnes, comment en être sûr, comment le mesurer et le rapporter, tout cela est loin d’être simple.
  Même lorsqu’on dispose d’évaluations qualitatives et quantitatives de la qualité des données, la question reste de savoir comment les présenter en les intégrant aux résultats de l’analyse.
  Pour ajuster quantitativement les résultats en fonction de la qualité des données, il faut un important travail sur mesure pour chaque projet, bien au-delà d’un simple graphique en courbes.
  Dans le cas de Google Ngrams, on pourrait afficher sous forme de graphique la composition des sources de données au fil du temps, répartie en grandes catégories comme « académique » ou « presse », mais il faudrait catégoriser tous les documents, et placer des liens et des explications à un endroit suffisamment visible pour que les gens les consultent réellement.
  Même ainsi, cela n’empêcherait pas la réaction intuitive qu’éprouve quelqu’un en voyant une série temporelle où l’usage d’un mot diminue.
  Une meilleure méthode consisterait peut-être à quantifier l’incertitude de la série temporelle d’usage des mots et à la superposer au graphique.
  Mais ici, le nombre d’occurrences lui-même est exact, et l’incertitude vient de l’échantillonnage ; il faut donc estimer à quel point l’ensemble des documents utilisés à ce moment-là diffère des documents échantillonnés.
  C’est peut-être possible, mais cela ne semble pas facile ; et même alors, il resterait à savoir si les gens interpréteraient correctement les indications d’incertitude, ou s’ils se contenteraient de regarder la courbe descendante en ignorant le reste.
  À mesure que nous entrons dans l’ère de l’IA, il faut garder ce problème en tête.
  Il en va de même dans nos vies : nous apprenons à partir des données que nous observons et formons nos opinions, mais la qualité des données que nous avons vues et la validité de nos conclusions restent toujours sujettes à question.

• Les auteurs affirment que les statistiques ngram sur « said » sont fausses et parlent comme s’il existait des preuves contraires, mais ils ne présentent aucune preuve réelle.
  Même sur leur propre site, ils ne fournissent que les statistiques ngram de Google : https://www.etymonline.com/word/said#etymonline_v_25922
  À cela s’ajoutent le gros échec consistant à ne pas afficher le 0 sur l’axe des y et une mauvaise interprétation du graphique, ce qui rend l’ensemble totalement peu crédible ; l’article paraît de très faible qualité.

  • L’usage de « said » aurait diminué de moitié en 60 ans, puis serait revenu à son niveau précédent en 20 ans ? Il faudrait montrer des preuves que l’anglais a changé aussi vite de cette manière.
    Une telle affirmation est extraordinaire et nécessite des éléments convaincants.
    Sans preuves, je croirais plutôt l’hypothèse et la conclusion de l’article selon lesquelles les ngrams sont du grand n’importe quoi.
    Il est vrai que le graphique de « toast » a été mal interprété, et il aurait fallu lire plus prudemment ce mauvais graphique tronqué à un niveau bas.
  • La raison pour laquelle il est difficile d’apporter des preuves est qu’il n’y a en fait qu’une seule source.
    L’article pointe donc essentiellement les défauts de la méthodologie Google Books/Ngram.
    Cette approche me paraît valable.
    Sinon, on finit par accepter quelque chose de défectueux simplement parce que cela existe et que c’est facile à utiliser.
    Il n’est pas nécessaire de lancer une étude séparée pour trouver la vérité afin de répondre à « ce qui est le plus tweeté est X, donc c’est le plus populaire et le plus important ».
    Dire « c’est une méthodologie idiote, ne l’acceptez pas juste parce que Twitter le dit » suffit.
  • Ce qu’on voudrait, c’est sans doute que quelqu’un examine des sources comme les journaux pour vérifier comment la fréquence relative de « said » a évolué dans le temps.
    C’est une demande raisonnable, mais je trouve aussi acceptable que l’auteur dise, en tant qu’expert, que les journaux ont continué à utiliser said à une fréquence similaire.
    Cette explication est plausible, et je ne pense pas que la charge de la preuve repose forcément sur l’auteur.
  • Ce n’est pas l’idée que « said » ait chuté puis remonté comme sur le graphique qui ne nécessite pas de preuve.
    Au contraire, c’est cette affirmation extraordinaire d’un tel changement qui exige des preuves.
    Cette affirmation vient de Google, et avant de blâmer l’auteur du blog, il faudrait voir à quel point le jeu de données invisible est représentatif.
    Doit-on accepter telle quelle une statistique dont on ne connaît pas le jeu de données d’entrée, sur le mode « faites confiance à Google » ?
  • EtymOnline n’a pas pour but de suivre l’évolution de la popularité des mots, mais celle des changements de sens.
    Il est donc compréhensible que l’entrée « said » ne contienne pas de preuve contraire précise.
    La raison pour laquelle le texte ne fournit pas non plus de preuve est que l’affirmation selon laquelle « said » serait tombé à presque un tiers de son pic est de loin la plus extraordinaire et nécessite des preuves solides.
    Dire « à première vue, cela n’a aucun sens, et c’est probablement dû à un changement important dans la composition par genres du jeu de données de Google » suffit déjà.

• Le graphique Ngram ne dit pas que toast a presque disparu de l’anglais vers 1980 avant de réapparaître.
  Il semble seulement indiquer une baisse d’environ 40 % de son usage depuis 1800.
  Comme d’autres l’ont dit, il y a clairement un problème d’axe des y qui ne commence pas à 0.
  Mais si les auteurs d’etymonline ne s’en sont pas rendu compte et ont tiré une conclusion erronée, c’est difficile à croire, d’autant que l’exemple suivant, « voyez, il n’y a pas de baisse », est encore plus ironique : l’axe des y y commence à 0 et on y voit aussi un petit plateau vers 1980.
  Cela l’est encore davantage si l’on tient compte du titre exagéré et agressif et de la première phrase.

  • Le problème ne se limite pas aux axes du graphique.
    L’usage de « toast » n’a pas diminué de 40 % ; c’est le jeu de données de Google qui a brusquement changé pour adopter une composition par genres très différente d’avant.
    J’ai déjà discuté avec des gens qui essayaient d’expliquer la baisse des années 1970, et personne, moi compris, n’avait compris qu’il s’agissait d’un défaut spectaculaire des données.

• Je trouve que le titre ne convient pas à cet article.
  Ce type de résultat relève moins de la « clarté » que du désir de clickbait, ou de son équivalent scientifique.
  Par exemple, les articles de Science ou de Nature ne sont pas spécialement plus susceptibles d’être justes, mais ils ont davantage de chances d’être tape-à-l’œil et radicaux, surtout dans des domaines comme la physique qui ne sont pas leur cœur de spécialité.
  À l’inverse, le nom « Real Clear Politics » m’a toujours paru âpre.
  Parce que je pense qu’en politique, il n’y a ni « Real » ni « Clear ».
  Le meilleur livre sur la politique, selon moi, est Fear and Loathing on the Campaign Trail ‘72 de Hunter S. Thompson.
  C’est un récit personnel où il suit les candidats, prend un auto-stoppeur à 3 heures du matin et, même défoncé dans un train, a des moments de lucidité incisive lui permettant de comprendre les procédures parlementaires qui ont conduit à l’investiture de McGovern.
  Dans 20 ans, un livre minutieux sortira, avec des arguments solides montrant que tout ce que nous croyions sur les événements politiques d’aujourd’hui était faux et qu’en réalité il s’est passé autre chose.
  Entre-temps, les gens auront des points de vue radicalement différents, et c’est cela, la réalité.
  Des adjectifs comme « real » et « clear » sont une tentative de fermer la plupart de ces perspectives et de privilégier un seul point de vue.
  Cela me rappelle aussi la manière dont Baudrillard a déconstruit en profondeur le mot « real » dans Simulacra and Simulation.
  Cela rend compréhensible le fait que les gens qui vendent du faux mettent en avant le mot « real ».
  Le fait que la Scientology se présente comme la « science de la certitude » relève du même mécanisme.

  • Le livre qui sortira dans 20 ans sera faux lui aussi.
    L’un des bons côtés de la politique, c’est que les motivations y sont très claires.
    Les responsables politiques veulent d’abord conserver le pouvoir, et le désir d’améliorer les choses vient ensuite.
    Une fois qu’on sait cela, tout devient compréhensible.
    Même si l’on ne saura jamais vraiment ce qui s’est passé.

• Il est impossible de produire une image représentative du passé.
  Il faut travailler uniquement avec les sources limitées qui ont survécu, et elles ne sont pas réparties uniformément dans le temps ni dans l’espace.
  Quand une personne meurt, il se produit une perte de données fondamentale : impressions, expériences non consignées, odeurs familières disparaissent.
  Même les souvenirs des personnes encore vivantes peuvent, à un moment donné, devenir peu fiables.

  • C’est pourquoi j’ai toujours trouvé étrange que seules les personnes dont la représentativité sociale est déformée par la célébrité ou la richesse aient droit à une biographie sur Wikipedia.
  • Pas seulement à un moment donné : la mémoire humaine est étonnamment peu fiable.
    Un exemple que vous pouvez tester directement : https://youtu.be/vJG698U2Mvo?si=16fwk8wG8Yyhim5t

• Il est difficile de dire que Google Ngram se trompe
  Il rapporte des statistiques sur les mots correctement identifiés dans le corpus
  Le problème, c’est le contexte de ces statistiques
  On peut dire avec un certain degré de confiance que « l’usage de said a diminué à un moment donné dans le corpus Google Books »
  On peut le dire avec davantage de confiance dans le sous-ensemble du corpus où l’OCR a correctement identifié toutes les occurrences de ce mot
  Mais sans données suffisantes, il ne faut pas formuler l’affirmation plus large selon laquelle « l’usage de ce mot a diminué à un moment donné »

  • Si le mème de l’économiste est « ça dépend », le mème transcendantal du statisticien est il faut plus de données
    Tant qu’on n’aura pas résolu la théorie de la grande unification, on ne pourra pas être totalement certain de l’exhaustivité des données ni de l’inférence statistique
    Ce qui est mauvais, c’est d’induire le public en erreur en l’éloignant de cette compréhension
  • C’est pourquoi, lorsqu’on produit des statistiques inférentielles sur une population, la méthodologie d’échantillonnage est bien plus importante que la taille de l’échantillon
    Échantillonner un million de livres dans un corpus universitaire et choisir les 10 best-sellers de chaque décennie du XXe siècle produisent des corpus linguistiques très différents

• C’est l’erreur classique consistant à ne pas inclure 0 sur l’axe vertical du graphique
  Si vous vous dites « mais alors on ne verrait presque pas le changement », vous avez raison
  En retirant 0, on peut faire paraître importantes de petites variations

  • À l’inverse, il y a aussi des cas où il faut mettre en évidence de petites variations
    S’il s’agit d’une carte de contrôle montrant le poids de remplissage de boîtes de céréales, vous ne voudrez probablement pas inclure 0 dans le graphique
    Il n’est pas non plus nécessaire de représenter les températures quotidiennes d’une ville sur un graphique allant jusqu’à 0 kelvin
  • Suis-je le seul à penser que le graphique lui-même est correct et que c’est seulement le texte qui exagère un peu ?
    Il semble stable pendant près d’un siècle, puis chute soudainement d’environ 50 %
  • Inclure 0 aurait aidé pour le graphique de « said », mais n’aurait pas résolu le problème
    On aurait tout de même eu l’impression que « said » était tombé à presque un tiers de sa popularité antérieure, alors qu’en réalité la composition de l’échantillon avait fortement changé

• Est-ce que cela signifie que le n-gram est faux, ou bien que ce qu’on peut dire avec un n-gram est limité ?
  Les données sont intéressantes, mais je ne sais pas trop quelles conclusions en tirer
  Cela donne l’impression étrange d’interroger des livres du passé avec le vocabulaire d’aujourd’hui
  Un exemple simple que je connais : si l’on cherche « þe », on n’obtient pas beaucoup de résultats
  Historiquement, c’est globalement exact dans la mesure où « þ » a disparu vers les années 1400
  Mais si l’on ajoute « ye », on voit apparaître une quantité énorme d’occurrences
  Est-ce la fonction prévue de n-gram ?
  Cela ressemble plutôt à une erreur d’encodage transmise au fil des siècles
  C’est un peu comme s’emporter contre le grand changement vocalique sans comprendre que nos symboles phonétiques ne sont pas une vérité universelle figée