- Benn Jordan a récemment continué à recevoir, via plusieurs messages et tags, des demandes lui demandant de clarifier sa position sur Israël
- Cela alors qu’il a toujours déclaré publiquement être opposé au génocide et favorable à la création d’un État palestinien, ce qui rendait ces messages étranges
- Après vérification, il s’est avéré que Google AI Overview avait fabriqué et diffusé au nom de Benn Jordan une histoire élaborée mais fausse
- Résumé fourni par Google AI Overview au sujet de Benn Jordan
Benn Jordan, musicien électronique et youtubeur scientifique, s’est récemment impliqué dans le conflit israélo-palestinien, suscitant une vive controverse et de nombreux débats en ligne. Il aurait mis en ligne une vidéo YouTube intitulée "I Was Wrong About Israel: What I Learned on the Ground", dans laquelle il partageait son expérience d’un voyage en Israël et interviewait des habitants de kibboutz proches de la frontière de Gaza. La vidéo montrerait une compréhension directe du conflit à travers ces entretiens, et sa publication aurait déclenché débats et commentaires sur l’ensemble des réseaux sociaux.
- Résumé fourni par Google AI Overview au sujet de Benn Jordan
- Mais Benn Jordan n’est jamais allé en Israël. Il n’a jamais mis en ligne une telle vidéo, et il s’agit d’une confusion avec une autre personne nommée Ryan McBeth, qui publie des vidéos militaires
- À cause de ce résultat généré par l’IA, des malentendus contraires à sa position réelle se propagent, ce qui finit par imposer aux utilisateurs une opinion erronée ou une pression sociale injustifiée
- Benn Jordan discute actuellement avec un avocat pour voir s’il est possible d’engager une action en justice
4 commentaires
La faible fiabilité d’AI Overview est bien connue, mais là c’est quand même assez grave.
C’est matière à un procès, non… ?
Waouh, cette histoire est vraiment trop choquante.
C’est terrifiant d’imaginer ce qui pourrait arriver si une telle situation, provoquée par un problème précis, me tombait dessus aussi.
Avis Hacker News
Je pense que c’est un cas emblématique de l’impact massif que les hallucinations de l’IA et son manque de précision vont avoir sur nos vies ; ce sujet est extrêmement subtil et important, et pourtant il n’est traité qu’à coups de gros titres, ce qui me fait peur, surtout si le grand public ne comprend pas vraiment comment ces outils fonctionnent ; autrefois, un humain parcourait au moins un minimum les informations, mais avec l’IA, même cela devient difficile à espérer
J’ai vu à plusieurs reprises des gens copier-coller des résultats ou des réponses d’IA dans des issues GitHub, des e-mails, etc., et j’ai le sentiment que de plus en plus de personnes font confiance sans esprit critique aux sorties de ces modèles ; c’est pareil pour les « résumés » qui apparaissent tout en haut des résultats Google ; presque tous ceux que j’ai lus contenaient au moins une erreur grave, et si le sujet m’avait été moins familier, j’aurais pu y croire tel quel ; globalement, « faire confiance, mais vérifier » est devenu de plus en plus important, mais en réalité je pense qu’il faut désormais aussi limiter la confiance elle-même
L’argument selon lequel l’aspiration massive de contenus protégés par le droit d’auteur pour construire des modèles d’IA relèverait de l’usage transformatif sert de base à leur justification ; si cette thèse est valable, alors des entreprises comme Google devraient être tenues responsables de ce type de résultat ; si c’est une œuvre transformative, on ne peut pas rejeter la responsabilité sur quelqu’un d’autre ; il ne faudrait pas permettre à ces entreprises d’avoir le beurre et l’argent du beurre ; je suis curieux de voir comment ce débat va évoluer
J’ai arrêté de juger les gens en fonction de leur position sur Israël et le Hamas, et je pense qu’il suffit de ne pas fréquenter ce genre de personnes ; si quelqu’un déforme mes opinions, ça m’importe peu ; pour vivre ainsi, il faudrait sans doute couper des espaces comme Bluesky ou HN où ces débats politiques sont fréquents, mais même des opinions légitimes y sont déjà relayées de façon très biaisée et incorrecte, et l’IA, c’est du niveau d’un pile ou face ; si quelqu’un veut me convaincre qu’il connaît vraiment bien ce sujet, je veux bien l’écouter, mais je ne pense pas qu’il soit nécessaire d’en discuter ici
Je pense que Google devrait être tenu responsable de ce type de résultat ; c’est lui qui publie et héberge ce contenu, donc il devrait répondre de tout son contenu diffamatoire
Cette histoire va probablement devenir assez grosse pour faire oublier l’affaire de la fausse vidéo, puis l’IA résumera automatiquement la polémique autour de cette fausse vidéo à partir des résultats de recherche en tête de liste
J’ai cherché « benn jordan isreal » et le premier résultat est une vidéo d’un tout autre créateur, avec exactement le même titre et la même date ; la vidéo ne mentionne pas « benn » et ne parle que brièvement du pays « Jordan », donc Google semble avoir halluciné un lien à partir de ça, ce qui est très inquiétant
https://www.youtube.com/watch?v=qgUzVZiint0
Je pense que c’est presque certainement ce qui s’est réellement passé ; les réponses IA de Google ne sont pas magiques, elles se contentent de résumer les résultats de recherche ; dans ce cas, elles ont récupéré une vidéo où « Israel » et « Jordan » sont mentionnés ensemble, puis en ont tiré un contenu exprimant une position complètement opposée ; comme l’UI masque beaucoup de contexte, il est difficile de comprendre où l’erreur se produit, et en mode IA, plusieurs recherches sont exécutées pour agréger des snippets issus de plus de 100 sites avant de produire un résumé
Ce qui est intéressant dans cette discussion, c’est qu’elle fait se demander s’il est courant d’utiliser les résultats de recherche sur des sujets généraux comme base pour l’entraînement des LLM ou pour la recherche d’information
Vous seriez encore plus surpris si vous saviez comment fonctionne réellement la traduction IA : elle tord plusieurs langues pour les faire rentrer dans un anglais américain standard
Les gens utilisent surtout Google pour des sujets qu’ils connaissent mal, et ce que produit AI Overview peut sembler plausible à quelqu’un qui ne maîtrise pas le sujet ; mais en réalité, c’est souvent faux ; outre les gros problèmes comme ici, il y a aussi eu ce cas où il recommandait de mettre de la colle sur une pizza ; il suffit de chercher sur Google quelques sujets que l’on connaît bien et de lire le résumé généré pour constater qu’il se trompe assez souvent ; d’après mon expérience, à peine un cas sur cinq ne contenait pas d’erreur majeure ; on dit que « le pluriel de donnée n’est pas anecdote », mais moi je le vois se tromper trop souvent, au point d’avoir installé une extension pour le bloquer
J’ai constaté qu’il est assez précis lorsqu’il s’appuie sur des contenus déjà statiques et bien structurés, comme Wikipédia ou des blogs ; en revanche, sur des informations dynamiques — surtout les réseaux sociaux — il a tendance à relier des éléments entre eux et à produire des résultats erronés ; dans l’ensemble, les gens attendent beaucoup trop d’AI Overview. Google AI Overview n’est absolument pas supérieur aux fonctions de recherche web de Claude, Grok ou ChatGPT ; au contraire, il est à la traîne sur plusieurs aspects ; j’ai l’impression que cette fonction a été forcée parce que le monopole de Google sur l’exploration de l’information est menacé par OpenAI et d’autres
Le fait qu’AI Overview soit plus précis qu’avant me paraît au contraire rendre le problème encore pire ; avant, il se trompait assez souvent et de façon suffisamment évidente pour qu’on l’ignore facilement ; maintenant, il a souvent raison et paraît toujours plausible, ce qui donne encore plus envie de s’y fier
Je vais paraphraser ce que je trouve être la meilleure explication de la désinformation IA « plausible » : les résumés IA ressemblent à ces podcasters généralistes ou essayistes YouTube qui traitent de sujets techniques ou de niche — la forme et l’assurance sont tellement lisses qu’on a presque l’impression que c’est vrai ; mais si vous êtes expert du sujet, vous voyez que presque tout ce qu’ils savent est faux, ou au minimum superficiel ; ce surplus de confiance amplifie même le « signal de précision » perçu par le grand public qui, lui, ne possède pas les bonnes connaissances ; et comme la plupart d’entre nous n’ont pas de compréhension approfondie de 90 % des sujets, le problème devient grave
Dans ce cas d’hallucination IA, il est affirmé que Benn Jordan a publié le 18 août 2025 une vidéo de retour de voyage en Israël, alors qu’il s’agit en fait du titre récent d’une vidéo de Ryan McBeth
https://youtu.be/qgUzVZiint0?si=D-gJ_Jc9gDTHT6f4
C’est franchement inquiétant de voir à quel point l’outil peut simplement associer la mauvaise source vidéo
Au départ, je pensais qu’il y avait deux Benn Jordan et que l’IA les avait confondus, mais la personne qui a réellement publié cette vidéo est Ryan McBeth ; je me demande comment ce type d’erreur peut se produire
Il est possible que le modèle utilisé par Google sur la page de recherche soit moins performant pour réduire les coûts ; je doute que ce soit une bonne stratégie pour un produit phare comme la recherche ; à mon avis, il vaudrait mieux retirer complètement l’IA de la recherche
Il y a probablement un passage dans la vidéo où le mot « Jordan » est prononcé, et comme c’est un pays proche d’Israël, cela a sans doute créé un faux lien
En fait, la vidéo de Ryan apparaît au-dessus de celle de Benn dans les résultats de recherche YouTube ; je pense que l’IA a simplement pris le résultat YouTube pour un fait sans même vérifier le nom de la chaîne
Ce n’est pas la responsabilité de Google ; il est clairement indiqué en bas de l’écran, en texte 6 pt, « Les réponses IA peuvent contenir des erreurs. En savoir plus »
Si, c’est la responsabilité de Google, parce qu’il fabrique et diffuse lui-même un contenu diffamatoire ; imaginez ce que vous ressentiriez si quelqu’un cherchait mon nom et que la première ligne disait que je suis un délinquant sexuel dans une ville donnée ; ce ne serait même pas une citation de quelqu’un d’autre, juste une hallucination sans aucun fondement ; même avec un minuscule avertissement indiquant que cela peut être faux, presque personne ne considérerait que « tout va bien alors »
Il a été dit que le texte de l’avertissement était en 6 pt, mais après inspection de l’élément il faisait en réalité 12 px (9 pt) ; à titre de comparaison, le texte courant (hors en-têtes) est en 18 px ; c’est certes très petit et peu visible, mais pas totalement invisible non plus
Il y a quelques semaines, une petite entreprise près de chez moi a découvert que l’IA de Google indiquait à tort aux utilisateurs qu’il s’agissait d’une entreprise frauduleuse, simplement parce qu’elle la confondait avec une autre société au nom similaire sans aucun rapport ; on en arrive à faire de la protection de la réputation de nos clients contre l’IA un service essentiel
Concernant « Les réponses IA peuvent contenir des erreurs », je pense qu’il vaudrait presque mieux que les gens apprennent à filtrer automatiquement les résumés IA comme ils ignorent déjà la publicité
https://news.ycombinator.com/item?id=44142113
À moins que la loi n’intervienne bientôt pour faire un exemple, l’IA finira par provoquer tôt ou tard une véritable catastrophe majeure
Je me demande sur quelle base la loi devrait intervenir ; en général, se tromper n’est pas punissable ; la diffamation suppose une intention, or ici elle n’est pas manifeste ; la plupart des IA affichent déjà un avertissement sur les erreurs et hallucinations ; dans certains pays comme la France, la personne concernée a le droit de demander une rectification, et d’après l’article, Gemini semble déjà avoir pris connaissance de l’erreur et l’avoir corrigée ; si on rend les hallucinations IA illégales, on pourrait rendre les LLM eux-mêmes illégaux ; en revanche, imposer des mécanismes de signalement des fausses informations et des fonctions de filtrage me semble techniquement faisable
J’aimerais qu’on précise ce que signifie exactement « faire un exemple » ; je suis d’accord pour nettoyer la pollution informationnelle de l’IA, mais je suis opposé à une société centrée sur le procès ; je pense que des mesures juridiques pourraient en pratique être très vite détournées
D’un point de vue technique, il existe des recherches montrant que les résumés dysfonctionnent à partir de résultats Google fondés sur de courts snippets
Google doit faire tourner ses résumés IA à une échelle de 200 000 à 500 000 requêtes par seconde ; utiliser un modèle assez bon pour éviter les hallucinations coûterait trop cher, donc ils finissent par employer des modèles rapides, bon marché et moins performants ; en plus, fournir un résumé réduit aussi le taux de clic sur les publicités ; compte tenu de tous ces facteurs, je pense que l’adoption de cette approche de résumé par Google a été une très mauvaise décision
https://maxirwin.com/articles/interleaving-rag/