- Google AI Overview a affiché l’information inexacte selon laquelle « Dave Barry » était décédé
- En réalité, Dave Barry est toujours en vie, mais l’IA a reflété à plusieurs reprises cette fausse information
- L’utilisateur a envoyé plusieurs retours, mais ni les échanges avec l’IA ni le processus de correction du problème n’ont apporté de solution satisfaisante
- L’IA a confondu des informations concernant une personne réelle en les mélangeant avec celles d’autres personnes, ou a produit à plusieurs reprises des erreurs
- Ce cas montre que l’IA a encore des limites pour les tâches fondées sur des faits
Introduction
- Dave Barry a appris sa propre mort sur 'Google'
- En recherchant son nom ("Dave Barry") sur Google, une fonction de résumé appelée Google AI Overview est apparue
- Cette fonction utilise l’intelligence artificielle pour résumer les résultats de recherche et suscite récemment beaucoup d’intérêt chez les utilisateurs
Vérification de la fausse information de décès
- Dans Google AI Overview figurait une liste de questions intitulée « People also ask », en plus des informations personnelles de base sur Dave Barry
- Parmi ces questions se trouvait une affirmation indiquant que Dave Barry était décédé, alors que c’était faux
- Dave Barry était lui-même certain d’être vivant, notamment d’après l’évaluation de plusieurs professionnels de santé
Traitement du retour par l’IA de Google
- Dave Barry a envoyé un retour au sujet de l’information erronée dans Google AI Overview
- Compte tenu du fait que Google fonctionne avec un système automatisé, il ne s’attendait pas à une correction rapide
- Cependant, après l’envoi du retour, la partie contenant la question a bien été modifiée, mais l’explication correcte a disparu et a été remplacée par une information encore plus inexacte (concernant un autre Dave Barry)
Problèmes de communication avec l’IA
- Dave Barry a commencé à envoyer d’autres retours pour signaler de nouveau que l’IA comprenait mal sa situation
- Au cours de ce processus, l’échange avec le chatbot IA n’a pas vraiment fonctionné, et l’IA ne parvenait pas à saisir correctement le sens de ses explications
- Malgré des explications répétées, l’IA n’a pas reconnu le problème, et la conversation s’est déroulée comme si l’on essayait de communiquer avec une machine
Erreurs répétées et résolution temporaire
- Après l’envoi de retours supplémentaires, le contenu de l’Overview a de nouveau été modifié et la mention du décès a disparu
- Cependant, d’autres éléments comportaient toujours des erreurs (informations sur la publication de livres, historique de ses activités de chroniqueur, etc.)
- Par la suite, l’Overview est même revenu à l’affirmation de son décès, montrant que la précision des informations variait de manière instable et répétée
- Lors de la dernière vérification, Dave Barry était de nouveau présenté comme vivant, accompagné d’une explication indiquant qu’il y avait une confusion
Conclusion et enseignements
- Cette expérience montre que l’IA est un outil très puissant, mais qu’il est difficile de lui faire confiance pour les tâches nécessitant une vérification rigoureuse des faits
- À l’heure actuelle, l’IA semble davantage adaptée à des travaux où la fiabilité est moins critique (par exemple la rédaction de lettres de recommandation ou d’ébauches de politiques), et inadaptée aux domaines exigeant une très haute précision (par exemple l’exploitation aérienne)
- En définitive, cela souligne les limites de l’IA et la nécessité de rester prudent dans son usage à l’avenir
Sondage
- Un sondage est proposé aux lecteurs avec la question : « Pensez-vous que l’IA deviendra à l’avenir une force bénéfique pour l’humanité ? »
- Le texte se conclut également sur une légère note d’humour
1 commentaires
Avis sur Hacker News
Un commerce populaire près de chez moi est résumé ainsi sur Google Maps
un bar animé où l’on peut prendre des boissons et des sandwiches po' boy, avec un jukebox, une table de billard et des fléchettes électroniques, alors qu’en réalité il n’y a ni po' boy, ni jukebox (même si la playlist est excellente), ni billard, ni fléchettes électroniques. Côté boissons, ils servent juste de la bière et quelques produits en canette, sans cocktails ni mixed drinks
Il y a un mois, quelqu’un a laissé un avis critique à 1 étoile en disant qu’il était venu pour jouer au billard ou aux fléchettes et avait été déçu de constater qu’il n’y en avait pas
Le propriétaire l’a manifestement signalé, moi aussi, et j’imagine que d’autres visiteurs l’ont également fait
Pourtant, un mois plus tard, cette fausse information est toujours affichée telle quelle
La solution la plus simple serait de vendre réellement des po' boys et d’installer un jukebox, une table de billard et des fléchettes électroniques
J’aimerais vraiment que Google propose une option globale pour décocher partout dans le monde quelque chose comme « je ne veux absolument pas voir de contenu qui sent l’IA »
Je me doute que c’est peut-être trop demander
À cause de ce genre d’informations inexactes, des gens prennent de vraies décisions (comme se rendre dans un établissement) et vont même jusqu’à publier de mauvais avis
Je me demande aussi s’il serait possible d’intenter une action en dommages-intérêts dans un cas pareil
Ou s’il vaut mieux simplement faire retirer l’information de Google
En ce moment, dès qu’on essaie d’aider des gens en ligne, sur des forums automobiles ou des groupes Facebook par exemple, ils montrent souvent « une capture vue sur Google », alors qu’il s’agit manifestement d’un résumé IA
Par exemple, il décrit en détail une fonctionnalité X, alors qu’en réalité cette fonctionnalité n’a jamais existé
Ça arrive tout le temps
C’est un très gros problème, surtout dans les communautés auto en ligne
Je pense que le problème ne vient pas seulement des résumés IA, mais d’un problème structurel chez Google
Google affiche souvent des informations inexactes, et il n’existe généralement presque aucun moyen de les corriger
Les formulaires de retour et autres sont ignorés dans la grande majorité des cas
J’ai dû me battre pendant des années sur Google Maps pour faire corriger des informations erronées sur exactement ce genre de sujet, et la plupart des gens croient que Google Maps dit forcément vrai
Je ne suis même pas certain que les changements aient réellement eu lieu grâce à mes signalements
Google distribue l’information comme un tuyau d’incendie projetant tout en masse
Google est tellement énorme qu’il ne se soucie guère de ce genre d’incohérences, voire pas du tout puisque cela ne semble pas affecter son modèle économique
Je pense que c’est vraiment un problème propre aux résumés IA
Au départ, le système consistait à mettre tout en haut les résultats de recherche les plus pertinents pour la requête, puis à laisser l’utilisateur cliquer pour vérifier lui-même si le contenu convenait
Désormais, le résumé IA apparaît toujours en tête, et le LLM qui le produit est un modèle très rapide mais stupide, assez bon marché pour être exécuté sur chaque page web
C’est clairement une décision produit, et une décision gravement mauvaise
Par exemple, si on cherche « Suicide Squad », on obtient ceci
Dans ce cas, l’information inexacte a été affichée parce que le résumé IA a mélangé les informations de deux personnes différentes
Avec la recherche classique, chaque page web aurait traité les informations d’une seule personne
C’est donc au contraire un problème qui n’existe que dans le résumé IA
Google n’a pas vraiment d’incitation à privilégier l’exactitude au niveau de chaque utilisateur pris individuellement
Et vu le volume gigantesque de contenus, il lui est facile d’invoquer « l’échelle » comme excuse pour ignorer le problème
Quand il y a une information erronée, il existe quand même une solution
La faire remonter en une de Hacker News (HN)
Autrefois, ma plus grande frustration envers Google se limitait au fait que, dans la documentation Java (recherche de nom de classe), la doc de la version 1.4 ressortait avant celle de la version 6
Je me demande si, dans cette affaire où « l’IA a écrit que Dave Barry était mort en 2016 », le résumé évoluera à mesure que ses textes continueront d’être indexés
On pourrait finir avec un résumé du genre « Dave Barry est mort en 2016, mais il continue de nier ce fait »
Le résumé IA que j’ai reçu moi-même dit ceci
L’IA pourrait même finir par écrire quelque chose comme « Dave Barry était réputé mort en 2016, mais une controverse a éclaté lorsqu’il a été découvert qu’il était vivant »
Je pense qu’une partie de ces erreurs est inévitable à cause du problème de l’unicité des noms de personnes
Une solution serait peut-être d’afficher systématiquement une question de base du type « quelles autres personnes portent le même nom ? » quand on saisit un nom
Cela ne résoudrait pas complètement le mélange d’informations entre plusieurs individus, mais j’ai l’impression que la plupart des problèmes viennent du fait qu’une personne partage son nom avec quelqu’un de célèbre
Google semble utiliser son knowledge graph dans une certaine mesure, mais je me demande dans quelle mesure le LLM s’y réfère vraiment
J’ai l’impression qu’il s’appuie à la fois sur le graph et sur les résultats de recherche Google classiques, et que le LLM (probablement un modèle simple comme Gemini Flash Lite) mélange mal les célébrités issues du knowledge graph avec les informations des résultats de recherche
Cela se produit surtout quand plusieurs homonymes ont des niveaux de notoriété différents selon les domaines
En développant moi-même une appli personnelle de knowledge graph, j’ai réalisé que se contenter du nom (nom, prénom) comme identifiant d’entité pouvait finir par poser problème un jour
Dans mon cas, c’est pour organiser mes informations personnelles, donc ça devrait rester gérable, mais j’ai déjà un problème avec l’analyse d’e-mails : mes différents pseudonymes ne sont pas toujours correctement reconnus comme appartenant à la même personne
Cette « confusion » vient au fond du fait que la machine ne comprend pas que les noms humains ne sont pas uniques
Dans le cadre d’un mouvement social, j’ai l’intention d’appeler tous mes enfants Google (y compris ceux qui ont déjà un prénom)
Dave Barry est vraiment génial
C’est un problème classique qu’on voyait déjà souvent sur Google avant même l’arrivée de l’IA
Je suis pessimiste sur la possibilité que cela change, mais je garde tout de même espoir
Et les fossiles de trilobites sont adorables
J’en ai même un vrai sur mon bureau, et un ami lui a mis des lunettes
Selon lui, c’est parce que je suis déjà un « vieux type préhistorique », mais le trilobite est encore plus ancien
https://www.trilobites.info/
J’ai récemment vu un cas où le groupe Dutch Interior a été complètement diffamé sans le moindre fondement par Meta AI
L’IA a inventé que le groupe était lié à des suprémacistes blancs et à des extrémistes d’extrême droite
https://youtube.com/shorts/eT96FbU_a9E?si=johS04spdVBYqyg3
https://www.politico.eu/article/dutch-scandal-serves-as-a-warning-for-europe-over-risks-of-using-algorithms/
En 2019, l’administration fiscale néerlandaise a créé, à l’aide d’une IA auto-apprenante, des profils de risque pour détecter les fraudes aux allocations de garde d’enfants, ce qui a conduit à l’éclatement de nombreuses familles, à des placements, à des faillites, voire à des suicides
En 2021, l’autorité néerlandaise de protection des données a même infligé une amende de 2,75 millions d’euros à l’administration fiscale
Voir l’État se mettre une amende à lui-même, quel mouvement vraiment « génial »
Cette situation absurde est trop inventive
Ça ressemble au phénomène où le texte « Je suis Greg Egan, auteur de SF, et il n’existe aucune photo de moi sur Internet » se retrouve à circuler partout sur Internet sans aucun sens
https://www.gregegan.net/images/GregEgan.htm
Je pense que certains résumés sur Dave Barry n’étaient pas vraiment faux, puisqu’il existe un autre Dave Barry réellement décédé à cette période
Je me demande pourquoi ce Dave Barry devrait avoir davantage de légitimité pour répondre à la question « qu’est-ce qui lui est arrivé ? » à son propre sujet
En réalité, il ne lui est rien arrivé, mais il est bien arrivé quelque chose à son homonyme (sa mort)
Si cette information apparaît mêlée à des informations ou des liens concernant le Bostonien Dave Batty, le contexte devient clair
Donc, dans ce contexte, l’information est bien erronée
Rien qu’avec des phrases comme « Dave Barry, humoriste et lauréat du prix Pulitzer, est décédé le 20 novembre dernier... » ou « Dave Barry (Bostonien)... est décédé le 20 novembre... », on voit clairement de qui il est question
Même si le contexte se situe hors de la phrase elle-même (embedding context), l’identité du sujet joue un rôle essentiel dans ce type de formulation
En réalité, quand on cherche ce nom sur Google, le résumé est présenté tout en haut comme renvoyant à Dave Barry (l’écrivain)
Pour information, quand j’ai testé, Google indiquait que Dave Barry était vivant, mais en s’appuyant comme source sur l’article Wikipédia de Dave Berry, le musicien
Cette autre version (avec l’information de décès concernant l’homonyme) pourrait aussi être affichée en alternance avec d’autres résumés IA
L’idéal serait une désambiguïsation claire par personne, comme sur Wikipédia
Je me demande si, au fond, l’autre Dave Barry n’est peut-être pas vivant lui aussi
Dans la section « Qu’est-il arrivé à Dave Barry ? », des informations sur Dave Barry l’activiste apparaissaient dans une sous-section consacrée à Dave Barry le comédien
Pour une personne ordinaire, cela se lit évidemment comme relevant du contexte du comédien
C’est pourquoi ce Dave Barry-là (l’humoriste) est légitime à dire qu’il s’agit d’une question posée à son sujet
Ce serait comme voir apparaître, en plein milieu de la page Wikipédia de Dave Barry (comédien), la nouvelle de la mort d’un autre Dave Barry sans aucun contexte