Les réponses de l’IA peuvent contenir des erreurs

• Le résumé IA de Google Search invente des spécifications plausibles pour un IBM PS/2 Model 280 qui n’a jamais existé, et la réponse continue de changer même pour la même requête
• Les mauvaises réponses décrivent le Model 280 comme un système 286 basé sur ISA, en mélangeant des détails comme une sortie en 1987, 1 Mo de RAM, 640 Ko de RAM, du VGA et un lecteur 1,44 Mo
• Certaines réponses affirment qu’un système 286 peut être étendu jusqu’à 128 Mo de RAM, alors que la limite structurelle du 286 est de 16 Mo, ce qui révèle une contradiction interne dans la réponse elle-même
• En répétant plusieurs fois la même requête, on obtient parfois la bonne réponse — « le Model 280 n’est pas un modèle spécifique de la série PS/2 » — mais cela ne représente qu’environ 10 % des cas
• Plus un résumé de recherche IA comporte de détails, plus il peut sembler convaincant aux non-spécialistes, ce qui rend difficile de prendre à la légère l’avertissement « AI responses may include mistakes »

---

Le cas d’un PS/2 Model 280 inexistant

• Le nom du modèle a été saisi dans Google pour retrouver un système IBM PS/2 Server des environs de 1992, mais la machine réellement recherchée utilisait plusieurs processeurs 486 et le Microchannel (MCA)
• Le résumé IA des résultats de recherche a donné dès le départ une réponse hors sujet
  • Il décrivait le PS/2 Model 280 comme un système basé sur un 286
  • Il le présentait comme basé sur ISA au lieu du Microchannel
• Même en relançant la même requête, seule la formulation changeait, et le Model 280 continuait d’être décrit comme un système 286 basé sur ISA

De fausses spécifications qui changent à chaque répétition

• Le résumé IA fournit des spécifications différentes à chaque répétition de la requête
  • Une réponse affirme que le Model 280 dispose de 1 Mo de RAM et peut être étendu à 6 Mo
  • Une autre indique que la RAM de base est de 640 Ko
  • Plusieurs réponses répètent qu’il serait équipé d’un lecteur 1,44 Mo et de graphismes VGA
• Lors d’une autre tentative, le Model 280 est présenté comme un système 286 extensible jusqu’à 128 Mo de RAM
  • Or le 286 a une limite structurelle de 16 Mo, ce qui rend cette explication techniquement incorrecte
• Le résumé IA affirme aussi que le Model 280 a représenté une avancée majeure dans la gamme des ordinateurs personnels d’IBM et a contribué à faire du PS/2 une plateforme populaire et fiable

Erreur fondamentale : le Model 280 n’existait pas

• Le plus gros problème est que le PS/2 Model 280 n’a jamais existé en tant que modèle
• Même avec un numéro de modèle erroné, Google AI produit une explication qui paraît plausible au premier abord
• Ces réponses contiennent beaucoup de détails et sont rédigées naturellement, si bien que des informations fausses peuvent facilement passer pour crédibles

La bonne réponse n’apparaît qu’occasionnellement

• En répétant suffisamment la même requête, la bonne réponse finit parfois par apparaître
  • « Le Model 280 n’était pas un modèle spécifique de la série PS/2 »
  • La réponse indique en substance que la requête elle-même contenait une erreur
• Mais dans les requêtes répétées, la bonne réponse ne représente qu’environ 10 % des cas, et dans la plupart des tentatives l’IA invente du contenu
• Les réponses hallucinées ne sont pas seulement inutiles : une mauvaise réponse peut sembler plus « réelle » que la bonne

Quand les résumés de recherche IA deviennent dangereux

• Un expert peut repérer assez vite les incohérences dans la réponse
  • Par exemple, en consultant List of IBM PS/2 Models sur Wikipedia, on peut vérifier que le Model 280 n’existe pas
• Les non-spécialistes sont à la fois plus susceptibles de tirer de l’aide d’un résumé de recherche IA et plus exposés au risque d’être trompés par une mauvaise réponse
• Il est difficile de faire confiance à un assistant de recherche qui donne une réponse différente à chaque fois et n’a raison qu’occasionnellement
• La mention de Google « AI responses may include mistakes » n’est pas une simple formule de prudence, et les résumés générés par l’IA peuvent constituer une désinformation totalement inventée sans rapport avec la réalité

[ndrgrd]

Je pense qu’il vaut mieux demander aux LLM de se limiter aux résumés. Il est indispensable de trouver la source des données et de les vérifier.

[GN⁺]

Avis sur Hacker News

• Gemini dans la recherche Google ne se soucie ni du contexte ni de l’exactitude : il invente arbitrairement du contenu qui semble soutenir la requête. C’est presque de la confabulation pure, et quand on essaie soi-même, c’est aberrant
  Si l’on connaît déjà le résultat recherché, cela peut servir d’aide-mémoire, mais si l’on ne sait pas, c’est totalement difficile à croire
  Les sorties de Google Veo, quand on les regarde de près, sont tout aussi pleines de trous, et il ne semble y avoir aucune trace de raisonnement dans le résultat
  Erreur grotesque de Veo : https://arstechnica.com/ai/2025/05/ai-video-just-took-a-star...
  Exemple de comportement étrange de Tesla FSD : https://electrek.co/2025/05/23/tesla-full-self-driving-veers...

  • C’est ce que je comprends le moins dans toute cette technologie. Google est en train de faire pivoter son cœur de métier en misant sur une technologie gravement défectueuse
    Comme le dit aussi Ben Evans, la promesse selon laquelle « ça va s’améliorer » a ses limites, et finit par être une promesse creuse
    Hier, AI Overview, alors que je cherchais un événement commémoratif organisé dans une salle de concert à Berlin, a inventé de toutes pièces un album inexistant d’un musicien italien déjà décédé
    En gros, il a simplement repris le nom de la salle et prétendu que c’était l’œuvre la plus importante de cet artiste
    Fait amusant, quand j’ai collé cette réponse dans ChatGPT, il a démonté l’erreur d’AI Overview avec un ton mordant et cynique, ce qui m’a fait rire
  • Est-ce que cette qualité est soudain considérée comme normale et acceptable ? On dirait que personne ne se plaint vraiment
    Autrefois, ça ne serait jamais passé, mais aujourd’hui l’ambiance est plutôt au « ça va à peu près »
    Je ne vois pas pourquoi on devrait accepter des résultats faux ou inexacts
  • J’utilise uBlock pour supprimer les réponses de Gemini dans la recherche. Parce que même un bref coup d’œil peut contaminer mes hypothèses sur ce que je cherche
    L’hygiène informationnelle a toujours été importante, mais j’ai l’impression qu’elle va vraiment devenir une compétence indispensable
  • J’avais une question sur une voiture et j’ai cherché sur Google avec [année] [constructeur] [modèle] [fonctionnalité]. C’est le genre de recherche que l’ancien Google aurait parfaitement géré, mais désormais 90 % de la page était remplie de résidus d’IA concernant le mauvais modèle, la mauvaise année, voire le mauvais constructeur
    Il y avait bien une vidéo YouTube vaguement utile, mais ce n’est qu’en bas de page que j’ai trouvé une réponse façon ancien Google sur un forum consacré à une voiture totalement différente. Merci CamaroZ28.com
  • Il y a quelque temps, j’ai cherché un indice pour la salle du casino dans le jeu Blue Prince, et le résultat IA de Google m’a décrit en détail les jeux disponibles dans un Blue Prince Casino situé à proximité
    Je sais qu’en réalité, dans les environs, il n’y a qu’une prison, un Costco, quelques maisons rurales et du vide
    C’est stupéfiant de voir la page de recherche remplie tout en haut par des déchets entièrement faux et fabriqués
    Sur des sujets comme le droit du travail, ou dans d’autres recherches, il renvoie aussi souvent de mauvaises informations
    Ce serait drôle si les gens ne s’y fiaient pas réellement

• Ce phénomène est vraiment frustrant. Je comprends, ou du moins je connais, la nature probabiliste des LLM et leurs limites, mais quand je fais remarquer à ma femme ou à mes amis qu’ils les utilisent à tort pour des tâches auxquelles les LLM ne sont pas adaptés et ne sont pas fiables, ils balaient ça d’un revers de main en me traitant de cynique de l’IA
  Ils continuent à demander aux LLM de faire des calculs, par exemple de partager une addition, et traitent aussi les résultats de recherche de données factuelles comme fiables et exacts à 100 %

  • Ah oui, bien sûr. Utiliser une solution high-tech pour un problème low-tech. Mettons une machine à mots sur des problèmes de nombres !
  • Ce qui est délicat, c’est que dans l’usage quotidien, ils produisent assez souvent des résultats « à peu près corrects », si bien que les gens commencent à construire des habitudes autour de ça
  • Les utiliser pour des calculs simples, c’est assez drôle. Je ne sais pas s’ils les font éventuellement utiliser Python… mais j’aime rêver que oui
  • Utiliser des LLM, ou plus largement ces plateformes, ressemble un peu au fait de fumer dans un espace clos avec d’autres personnes. Ça devient une nuisance
  • Je ne fais pas ça moi-même, mais honnêtement, pour partager une addition, ça me semble globalement acceptable. Je pense que les principaux chatbots peuvent désormais réussir ce genre de chose
    Le point essentiel, c’est que les chatbots peuvent effectuer un large éventail de tâches ; donc y a-t-il vraiment une raison de changer de contexte vers une application complètement différente pour ce genre de chose ?
    Je pense que cela se produira de plus en plus souvent dans d’autres cas d’usage, et qu’au final l’utilisabilité l’emportera sur tout

• De simples clauses de non-responsabilité comme « Les réponses de l’IA peuvent contenir des erreurs » ou le message en bas de ChatGPT, « ChatGPT peut faire des erreurs. Vérifiez les informations importantes », sont désormais clairement insuffisantes
  En fait, cela fait des années que l’on voit des informations sur des gens lésés dans certains domaines à cause des hallucinations des LLM, et pourtant les gens continuent de se faire avoir ; tant que les fournisseurs ne peuvent pas éliminer complètement les hallucinations, ils devraient donc éduquer les utilisateurs de manière bien plus active sur la possibilité d’erreurs
  C’est nécessaire, même si cela ajoute de la friction

  • Ça n’a pas vraiment de sens. Soit on impose aux fournisseurs de LLM une responsabilité juridique pour les sorties de leurs modèles, soit on conserve les modèles actuels
    La friction existe déjà. Les entreprises d’IA et les fournisseurs cloud exploitent tous des « modèles censurés », et davantage de censure est ajoutée à chaque couche
    Qu’est-ce que serait une friction plus forte ici ? Afficher plus de pop-ups ?
    Si l’on choisit la première option, cela revient en pratique à tuer l’activité d’hébergement de modèles
    Les entreprises pourront développer des modèles pour les utiliser en interne et les mettre à disposition de leurs employés, mais les API publiques disparaîtront
    Les entreprises utiliseront ou licencieront des modèles entre elles au moyen de contrats juridiquement contraignants, mais le grand public n’y aura pas accès sans dispositifs d’atténuation du risque juridique
    Si les attitudes s’assouplissent dans quelques années, certaines entreprises pourront commencer à repousser les limites, par exemple en automatisant les procédures d’approbation juridique ou en ouvrant les inscriptions
  • Je me souviens qu’Apple Maps se faisait incendier à chaque fois qu’il donnait de mauvais itinéraires
    Quand Google Maps vous emmenait au mauvais endroit, comme dans un quartier louche, cela faisait aussi l’actualité et il fallait gérer une crise de relations publiques
    Maintenant, il suffit d’ajouter une de ces clauses de non-responsabilité et c’est terminé
    La clémence de l’opinion publique envers ces technologies est disproportionnée et décourageante
  • Éduquer les utilisateurs de manière plus active sur la possibilité d’erreurs, cela peut aussi revenir à dire que « l’expérience directe est le meilleur professeur »
    Il doit être assez difficile de concevoir une clause de non-responsabilité aussi efficace que de se faire avoir une fois
  • Les fournisseurs de LLM ne peuvent pas faire cela. Le postulat même de cette bulle, c’est le remplacement du travail intellectuel humain
    Comme le CEO d’Anthropic l’a récemment dit à propos du chômage de masse, ils se sont exprimés ainsi à plusieurs reprises
    Je ne vois pas comment mettre en avant la possibilité d’erreurs peut coexister avec la promesse de remplacer le travail humain
  • La clause de non-responsabilité devrait être tout en haut, en gros caractères rouges

• Les modèles de langage ne sont pas conçus pour savoir des choses, mais pour dire des choses. C’est pour cela qu’on les appelle des modèles de langage, et non des modèles de connaissances
  Étant donné les mots déjà générés, ils continuent d’ajouter le mot suivant en fonction de la fréquence de cette séquence
  La raison pour laquelle la réponse change à chaque fois, c’est qu’un générateur pseudo-aléatoire intervient dans le choix du mot suivant
  Le modèle examine la distribution de probabilité des mots suivants les plus probables, et si le paramètre appelé temperature vaut 0, il n’y a pas d’influence aléatoire : le mot suivant le plus probable, c’est-à-dire le top-1 MLE, est toujours choisi
  Dans les interfaces graphiques, on ne peut pas vraiment le régler à 0, car cela produit des sorties que nous qualifierions de « très ennuyeuses »
  Par conséquent, le modèle ne sait rien d’IBM, du PS/2, des 80286 et 80486, des CPU, du 280, ni du modèle précis lui-même
  Une des réponses semble suggérer qu’il n’existe pas de modèle 280, et je me demande si elle a été générée par un autre processus, si c’est dû à une manière d’intégrer les retours utilisateurs par apprentissage par renforcement, ou si c’est simplement un résultat chanceux du même choix aléatoire du mot suivant

  • Pas forcément. J’utilise des modèles locaux avec une temperature 0, et cela fonctionne bien
    Si les interfaces cloud n’autorisent pas une temperature à 0, c’est, à mon avis, parce que le modèle tombe parfois dans une répétition infinie de tokens, et que voir cela pourrait casser l’immersion du grand public
  • C’est exact. Mais la raison pour laquelle on va sur Google n’est pas de « discuter », c’est, en apparence, d’apprendre quelque chose fondé sur des connaissances
    Google semble commettre l’erreur de transformer la fourniture de connaissances en fourniture de mots
    Cela dit, du point de vue de son véritable business, les revenus publicitaires, il n’y a peut-être aucune différence

• Sur le site de recherche Google, la faible clause de non-responsabilité « Les réponses de l’IA peuvent contenir des erreurs » apparaît en petits caractères, et elle est en plus cachée derrière le bouton Show more
  Quand OpenAI a lancé ChatGPT, j’ai dû expliquer à un professeur qui n’était pas informaticien que ce n’était pas l’IA que les gens imaginent, mais plutôt, pour l’instant, une forme de facétie computationnelle qui ressemble à de l’IA
  Or il s’est avéré que cette facétie est excellente pour tricher aux devoirs
  Si l’on ne se soucie pas trop de la qualité ou du droit d’auteur, elle se prête aussi bien à la supercherie dans plusieurs autres types de travaux

  • Je ne comprends pas très bien l’idée de « facétie qui ressemble à de l’IA ». Même si ce n’est pas « quelque chose capable d’écrire du code » mais « quelque chose qui semble capable d’écrire du code », si cela peut réellement écrire du code, alors c’est au final quelque chose qui peut écrire du code
    Débattre de ce qui se passe à l’intérieur en mode « ce n’est pas un vrai Scotsman » n’a pas de sens
    Parce que nous ne savons pas non plus ce qui se passe à l’intérieur du cerveau humain
  • C’est un outil de recherche d’information / mémoire augmentée doté d’une interface d’entrée-sortie flexible

• Gemini semble calibré pour répondre aux questions que les gens tapent habituellement, mais si on lui soumet des requêtes de recherche plus traditionnelles, il produit du grand n’importe quoi inventé
  J’ai vu beaucoup de gens croire à AI Overview comme à un oracle
  Je pense que c’est ainsi que les personnes « ordinaires », qui n’utilisent pas directement les LLM, interagissent avec l’IA
  Ce n’est même pas clivé par âge comme la confiance dans les médias ; la confiance dans les sorties de l’IA semble traverser la plupart des groupes de population
  L’espèce humaine semble aimer les réponses informatiques confiantes sans fondement

  • Google est dans une situation particulièrement mauvaise ici
    Pendant plus de dix ans, cet emplacement dans la page de recherche avait une UI de « contenu extrait de la page », et c’était logique
    Cela économisait un clic, et si l’on faisait confiance au site source ainsi qu’un minimum à la technologie d’extraction de Google, il n’y avait pas grand-chose à remettre en cause
    Par exemple, si l’on cherchait une question médicale simple et qu’un extrait de Mayo Clinic apparaissait, on faisait confiance à Mayo Clinic, donc cela suffisait
    Il m’arrivait parfois de copier l’extrait Google, puis d’ouvrir la page et de le chercher avec ctrl-f
    Google choisissait assez bien des sources réputées, et les extraits se retrouvaient toujours dans la page sans déformer le contexte, ce qui suffisait à instaurer la confiance
    Avec le temps, ce système est devenu moins bon pour choisir des sources fiables, probablement parce qu’il a été exploité par le SEO
    Mais désormais, AI Overview a pris cette place
    Je ne suis pas opposé à l’IA en soi, mais l’IA est fondamentalement différente du fait de « montrer en quelques millisecondes un extrait pertinent et vérifiable tiré d’une source de confiance »
  • Mon manager utilise directement des LLM, et s’en sert pour faire confirmer ses hypothèses par les modèles les plus récents
    Si elles ne sont pas confirmées au premier essai, il reformule la question jusqu’à obtenir la réponse voulue
  • Nous aimons les réponses confiantes sans fondement en elles-mêmes. Qu’elles viennent d’un ordinateur ou non
  • Cela fait un moment que j’ai compris qu’on ne peut plus, comme avant, dire quelque chose aux gens et s’attendre à ce qu’ils puissent l’apprendre via une recherche web
    Parce que tout est devenu un résidu de spam SEO peu fiable et trompeur
    Rien qu’à penser à quel point AI Overview va empirer ça, ça me glace
    On a l’impression d’entrer dans une époque où quelqu’un cherchera « comment fonctionne une imprimante » et se verra répondre qu’elle est faite d’un système de poulies et de cordes, puis les gens le croiront aveuglément
    L’ampleur des erreurs que j’ai vues en faisant des dizaines de recherches dans des domaines qui m’intéressent était de cet ordre, et tout le monde a probablement vu des captures d’écran de réponses encore plus absurdes ou franchement dangereuses

• « Les réponses de l’IA peuvent contenir des erreurs » est la phrase la plus importante que j’aimerais crier dans tout le débat sur l’IA
  Avec l’énergie et l’impact climatique, cela devrait aussi être au cœur des discussions sur l’éthique de l’IA et la sécurité de l’IA
  Si cette surchauffe continue sans contrôle, ce sont les deux choses qui nous feront le plus de tort

  • Le problème n’est pas qu’il « puisse y avoir » des erreurs, mais qu’il y en aura forcément
    Pourtant, les gens ne s’en rendent pas compte et traitent cela comme un oracle omnipotent
    Au final, c’est un modèle statistique ; la probabilité qu’un singe produise les œuvres de Shakespeare n’est pas nulle non plus

• Google s’est donc fondamentalement trompé sur la recherche. Il ne semble plus vraiment se soucier de l’exactitude des résultats, mais surtout de fournir une réponse rapide et un bloc de liens sponsorisés en dessous

  • Le problème, c’est que sur 10 de ces « réponses rapides », 6 sont subtilement fausses, 2 sont gravement fausses, et 1 est carrément dangereuse
    J’ai vu des captures d’écran de contenus susceptibles de faire tuer quelqu’un ou de le mettre dans des ennuis juridiques
  • C’est la continuité de l’idée d’Eric Schmidt selon laquelle « beaucoup de résultats valent mieux que pas de résultats »
    On dirait que cela a désormais évolué en « mieux vaut créer une hallucination que produire une réponse négative »

• L’IA ressemble à cette personne capable de dire quelque chose sur n’importe quel sujet avec une assurance incroyable. Je ne vois donc pas bien pourquoi on devrait lui faire davantage confiance qu’à une conversation de bar

  • Je pense que c’est un problème psychologique. La plupart des gens utilisent des signaux visuels de langage corporel pour juger si leur interlocuteur n’est pas sûr de sa réponse
    Avec l’IA, il n’y a aucun signal indiquant un manque de confiance, et comme les gens ont l’expérience d’algorithmes traditionnels qui donnent toujours la bonne réponse, ils font fortement confiance aux sorties des machines
    La proportion de personnes qui les examinent avec esprit critique doit être minime
  • Aucune entreprise d’« IA » n’a encore eu le courage d’appeler son produit Cliff Clavin
    Il faudrait du courage à plusieurs titres. Il y aurait aussi le risque d’être poursuivi par John Ratzenberger
  • Vous ne voyez vraiment pas pourquoi on y croit ? C’est peut-être parce que des entreprises dont la mission est de « organiser l’information mondiale » en font la promotion comme de l’IA, et que ce sont des entreprises qui ont passé des décennies à essayer de fournir des informations exactes aux questions des utilisateurs

• Il y a quelques jours, j’ai eu une expérience avec ChatGPT et du code Python
  Je voulais modifier la classe de logger de Gunicorn pour filtrer certains chemins d’URL
  Comme c’est un chemin de code très sollicité, exécuté à chaque requête, j’ai préparé trois solutions et dit que je voulais voir laquelle était la plus rapide
  J’ai comparé une liste + boucle utilisant startswith, une expression régulière compilée, et startswith avec un tuple de chemins
  ChatGPT a produit du code de benchmark et des résultats, puis a affirmé que la solution par expression régulière était la meilleure et la plus rapide dans la bibliothèque standard Python
  Je n’y croyais pas, alors j’ai lancé le benchmark moi-même : la version avec tuple était plus de 5 fois plus rapide que l’expression régulière
  Quand je lui ai dit que le résultat était différent, il a répondu presque texto : « Ah oui, merci pour la correction. La version avec tuple est en fait la plus rapide ! »
  Il m’a épargné quelques minutes d’écriture de code de benchmark, mais je ne fais presque pas confiance à ses sorties sur des sujets dont je ne suis pas sûr à 100 %