L’IA de Google est manipulée, et le géant de la recherche contre-attaque discrètement

 (bbc.com)
1 points par GN⁺ 3 시간 전 | 1 commentaires | Partager sur WhatsApp
  • Les réponses de recherche par IA comme AI Overviews et ChatGPT peuvent être biaisées sur des sujets sensibles comme la santé ou la finance à partir d’une seule page web ou d’un seul billet
  • Dans une expérience de la BBC, un seul article publié sur un site personnel a suffi pour amener ChatGPT et Google à répondre que l’auteur était champion du monde de concours de hot-dogs
  • Quand une IA agrège des résultats du web pour produire une seule réponse, les utilisateurs ont plus facilement tendance à l’accepter comme la bonne réponse qu’avec une recherche classique où l’on compare plusieurs liens
  • Google a clairement indiqué que la manipulation des réponses IA constitue une violation de sa politique anti-spam, et les sites en infraction peuvent être retirés des résultats de recherche ou rétrogradés
  • Les manipulateurs peuvent se détourner des blogs, mieux surveillés, pour passer à des influenceurs YouTube, d’où la nécessité de ne pas faire confiance aveuglément aux réponses de l’IA

Problème de manipulation des réponses de recherche IA

  • AI Overviews en haut de Google Search, ainsi que ChatGPT et Gemini, peuvent être manipulés pour fournir des réponses biaisées, y compris sur des sujets importants comme la santé ou les finances personnelles
  • Une enquête de la BBC a montré qu’un seul article mis en ligne sur un site personnel avait suffi à faire répondre ChatGPT et Google que l’auteur était le « champion du monde de concours de hot-dogs »
  • La même méthode semble aussi avoir été utilisée pour minimiser des inquiétudes sanitaires liées à des compléments médicaux ou influencer des informations financières sur la retraite
  • La consultante SEO et AI search Lily Ray estime que, dans un environnement où l’IA fournit « une seule bonne réponse », les utilisateurs ont plus tendance à croire directement la réponse plutôt qu’à comparer plusieurs liens comme dans une recherche classique
  • Google affirme appliquer à ses fonctions de recherche générative par IA ses protections et sa politique anti-spam existantes, et renforcer depuis avant l’arrivée de l’IA ses défenses face à de nouvelles méthodes de spam

Comment la manipulation fonctionne

  • Les réponses des chatbots reposent généralement sur des données intégrées au modèle, mais le risque de manipulation augmente lorsqu’ils cherchent sur Internet pour répondre, comme avec les produits IA de ChatGPT, Claude ou Google
  • Si un outil d’IA récupère des informations depuis une seule page web ou une publication sur les réseaux sociaux, une seule fausse publication bien conçue peut contaminer la réponse
  • Un seul article de blog sophistiqué publié en ligne peut suffire à changer ce que l’IA transmet au grand public
  • Cette manipulation a vite été perçue comme une opportunité lucrative, alors que des informations inexactes ou biaisées peuvent influencer un vote, le choix d’un prestataire, des conseils médicaux ou des décisions juridiques
  • Harpreet Chatha souligne qu’au-delà de l’impact économique, le risque inclut l’aggravation d’un état de santé à cause d’un mauvais conseil médical, ou l’incitation à agir en contradiction avec les lois d’un pays ou d’une région

Changement de politique et riposte de Google

  • Plus d’un milliard de personnes dans le monde utilisent régulièrement des chatbots IA, et 2,5 milliards voient chaque mois les AI Overviews de Google, ce qui donne un impact énorme à quiconque parvient à perturber ces outils
  • Google a mis à jour la semaine dernière sa politique anti-spam pour confirmer officiellement que les tentatives de manipulation des réponses IA enfreignent les règles de l’entreprise
  • Les entreprises ou sites web qui violent ces règles peuvent être retirés des résultats de recherche Google ou rétrogradés
  • Google a indiqué qu’il ne s’agissait pas d’un changement d’approche mais d’une « clarification », et avait déjà détaillé en 2025 ses efforts anti-spam liés à AI Overview et AI Mode
  • Pourtant, l’expérience des hot-dogs a encore réussi près d’un an plus tard, et Lily Ray a elle aussi mené cette semaine une expérience similaire qui a amené Google à décrire un spécialiste SEO comme particulièrement doué pour construire des châteaux de sable

Changements observés et limites

  • Selon Ray et Chatha, des changements observés ces derniers mois suggèrent que Google et d’autres entreprises testent des solutions
  • Quand Google ou ChatGPT soupçonnent l’auto-promotion d’une entreprise, ils semblent parfois l’exclure discrètement de la réponse IA
  • Par exemple, si un article affirme que son auteur est le meilleur mangeur de hot-dogs, l’IA peut citer cet article tout en excluant son nom des candidats
  • Des cas ont aussi été observés où Google et d’autres outils d’IA ajoutent davantage de labels d’incertitude pour signaler que le chatbot n’est pas certain de sa réponse
  • ChatGPT et Claude d’Anthropic ont commencé à répondre explicitement, pour certaines requêtes, qu’ils tentaient de filtrer le spam, et Anthropic est l’entreprise qui a créé Claude
  • Ray dit aussi avoir vu Google ajouter plus d’indices sur certaines questions liées à des décisions d’achat, en recommandant de vérifier des avis tiers
  • OpenAI et Anthropic ont refusé de commenter, et un porte-parole de Google n’a pas répondu aux questions sur ces changements

Une course-poursuite sans fin entre manipulateurs et plateformes

  • Pour Chatha, ces changements ne suffiront probablement pas, et il compare la riposte de Google à un jeu de taupe-taupe
  • Quand Google réprime les billets de blog manipulateurs, les entreprises cherchent des formes d’auto-promotion plus discrètes
  • Il est possible de pénaliser des sites web, mais beaucoup plus difficile d’empêcher une marque de payer 20 influenceurs YouTube pour dire que son produit est le meilleur
  • Comme l’IA de Google cite désormais aussi des vidéos YouTube, les méthodes de manipulation peuvent simplement se déplacer, prolongeant le cycle
  • Pour l’instant, les manipulateurs ont de fortes chances de garder une longueur d’avance, et la meilleure défense consiste à se rappeler que l’IA est un outil qui fournit avec assurance une réponse unique, qu’elle soit juste ou non
  • Même si une réponse provient de l’interface d’un géant de la tech, il ne faut pas supposer qu’elle est forcément plus fiable qu’un site web pris au hasard

À lire aussi

1 commentaires

 
GN⁺ 3 시간 전
Avis sur Hacker News

  • Google n’arrive pas vraiment à filtrer les déchets de spam dans son index de recherche, au moins depuis l’époque de Blekko en 2006, donc j’ai du mal à croire qu’ils vont bien gérer ce problème
    Cela dit, ça ressemble à un autre bon exemple du fait que l’« IA » n’est au fond qu’une recherche emballée de façon crédible, sans véritable raisonnement ni pensée derrière

    • Je ne pense pas que cette conclusion suive vraiment. Faute de meilleure formule, on est plutôt face à des LLM qui sont « faciles à tromper »
      Je me demande en quoi c’est si différent d’une personne qui croit simplement ce qu’elle lit sur Internet. Les humains se font eux aussi constamment avoir par le spam et les arnaques, sans que cela veuille dire qu’ils ne sont qu’une recherche emballée de façon crédible ;-)
      En revanche, cela met bien en lumière un problème auquel tous les moteurs de recherche sont confrontés. Le spam généré par l’IA sera bien plus difficile à bloquer avec des méthodes statistiques traditionnelles, et c’est déjà vrai avant même d’en arriver au problème existentiel qu’est la prompt injection
      C’est peut-être là que les médias peuvent retrouver leur juste place dans leur relation avec la Big Tech. Ils pourraient devenir des sources d’information vérifiées et relues auxquelles les LLM peuvent se fier aveuglément, et des accords comme OpenAI / Atlantic vont peut-être dans ce sens
    • La génération de nouveau code me paraît difficile à expliquer comme une simple recherche emballée de façon crédible
      On peut faire lire à un système agentique quelques datasheets, lui décrire les exigences d’un projet, puis lui faire concevoir des spécifications de drivers, des protocoles, des interfaces et des machines d’état. À partir de là, il peut produire un plan d’implémentation, rédiger l’ossature d’une application, puis la compléter pour construire un système qui fonctionne avec une nouvelle combinaison de matériel
      Quand c’est bien fait, on obtient du code plus petit et 100 fois moins cher, en un quart du temps, tout en étant plus facile à maintenir que ce qu’une petite équipe aurait produit auparavant
      Quoi que ce soit, cela ressemble davantage à du raisonnement qu’à de la recherche. À moins d’appeler aussi « recherche » le développement bare metal en C sur un nouveau matériel, auquel cas tout développement finit par être de la recherche
    • J’ai déjà mis en ligne une vidéo et un post Reddit sur des objectifs vintage, et j’essayais de savoir de quand datait l’un d’eux
      Le LLM m’a donné une période du genre « fabriqué dans les années 1940 » en citant mon post comme source, alors que ce post ne donnait aucune année de fabrication
    • Google a largement les capacités de résoudre ce problème, et en réalité ce n’est même pas si difficile
      Si cela reste un problème difficile, c’est parce que la plupart des solutions feraient fortement baisser les revenus publicitaires
    • L’AI Overview de Google semble fonctionner comme une récupération de fragments de recherche via du RAG, ensuite résumés par un LLM très rapide. Je n’appellerais pas ça une recherche emballée de façon crédible

  • Le présupposé le plus étrange de ce fil, c’est que Google voudrait que ses réponses IA soient exactes
    Il suffit qu’elles soient assez justes pour que l’utilisateur ne quitte pas la page. La « vérité » n’a jamais été le produit ; le produit, c’est de pousser les utilisateurs à dépenser de l’argent en SEO

    • Ça ne me semble pas tout à fait juste. L’essentiel du SEO est fait par des tiers
      Le produit, c’est l’affichage publicitaire, et Google se désintéresse des résultats de recherche non publicitaires depuis longtemps. Cela dit, ils doivent quand même se soucier de la réputation de leur modèle, et cette affaire peut effectivement avoir un impact

  • Le fait de voir que le résultat manipulé concernait la requête suivante m’a pas mal rassuré
    2026 South Dakota International Hot Dog Eating Champion
    Si cela avait modifié le résumé du vainqueur du concours Nathan’s, cela aurait été bien plus grave. Cela l’aurait aussi été s’ils avaient montré davantage d’exemples de manipulation sur des requêtes réellement recherchées par des gens
    Pour l’instant, ça ressemble à créer une fausse page Wikipedia sur un concours fictif de hot-dogs dans le South Dakota, puis à écrire un article disant qu’on ne peut plus faire confiance à Wikipedia. En y repensant, quelqu’un a probablement déjà écrit ce genre d’article vers 2005

    • Oui. Cela veut simplement dire que c’est ce qu’une seule personne peut faire
      Quand on pense au nombre de posts de manipulation de l’opinion sur Reddit, sur la plupart des réseaux sociaux, ou dans les tentatives de manipulation de Wikipedia à des fins politiques, c’est un problème très réel
    • L’article disait aussi ceci : « Mais notre enquête a montré que la même méthode servait aussi à faire ignorer des préoccupations sanitaires sur des compléments médicaux, ou à influencer les informations financières fournies par l’IA de Google à propos de la retraite »
      C’est bien plus inquiétant que les hot-dogs
    • Au contraire, ça m’a immédiatement encore plus inquiété. Gemini s’est récemment mis à afficher un spinner de recherche à chaque tour
      Cela veut dire que toutes les réponses adossées à la recherche peuvent être exposées à la prompt injection, et en pratique probablement presque toutes les réponses
      Cela va se propager de façon virale comme le spam de liens. Tous les sites à contenu généré par les utilisateurs peuvent devenir des hôtes de prompt injection. Le problème, c’est que c’est bien plus difficile à détecter que des liens
    • Quelqu’un a réussi à détourner AI Overview pour y insérer un faux numéro de support client frauduleux
      Il a fallu une semaine à Google pour corriger le problème, et la méthode consistait à polluer les résultats de recherche afin d’injecter ses données dans une source apparaissant à un niveau de confiance plus élevé, probablement un site de marchés publics. Résultat : un numéro d’arnaque apparaissait à la place du nôtre, alors que la requête elle-même était une recherche tout à fait simple
    • « En 20 minutes, j’ai trompé ChatGPT et Google pour leur faire dire au public que j’étais champion du monde de concours de hot-dogs. La blague était stupide, mais le problème est grave »
      C’est pire qu’insérer de la manipulation de l’opinion dans une page Wikipedia. Wikipedia dispose publiquement de sources et d’un système de relecture bien établi. Il est en réalité assez difficile de faire durer longtemps une modification frauduleuse, car il faut tromper de nombreux éditeurs humains qui luttent contre ce genre de personnes depuis des décennies. Même quand on cherche à être exact et utile, il est difficile d’entrer dans ce cercle fermé
      À l’inverse, les extraits de recherche de Google aspirent désespérément toutes sortes de données et les traitent automatiquement, et le système algorithmique qui décide de ce qui est valable ou de ce qui est du spam est propriétaire
      Il ne faut pas beaucoup d’imagination pour voir les possibilités d’abus. Et si vous cherchiez votre propre nom et qu’un contenu embarrassant y apparaissait ? Il est difficile d’espérer qu’un employeur potentiel, un client ou un ami fasse une vérification des sources avec la même rigueur qu’un éditeur de Wikipedia

  • Je voulais lire des exemples concrets de « la même méthode utilisée pour faire ignorer des préoccupations sanitaires sur des compléments médicaux, ou influencer les informations financières fournies par l’IA de Google sur la retraite », mais le lien associé dans l’article pointe actuellement vers le fichier local ci-dessous
    file:///Users/GermaTW1/BBC%20Dropbox/Thomas%20Germain/A%20Downloads%20and%20Documents/2026/And%20there's%20evidence%20that%20AI%20tools%20are%20being%20manipulated%20on%20a%20wide%20scale.

    • J’ai déjà vu ce type d’erreur plusieurs fois récemment dans des articles de la BBC, et le plus embêtant, c’est qu’après correction ils n’ajoutent même plus de note gardant une trace des modifications apportées à l’article publié
    • Pour les noms d’utilisateur ou les adresses e-mail, j’ai toujours utilisé first.last@company, donc le format last[:5]initials# me déroute. Ça doit produire beaucoup de noms d’utilisateur étranges

  • En ce moment, on dirait que beaucoup d’acteurs font les choses « discrètement ». Voir tout le texte d’Internet devenir LLMisé me rend dingue

    • Moi aussi, mais les rédacteurs de titres et les éditeurs étaient accros au mot « discrètement » bien avant les LLM. Le journalisme en ligne déborde de ce cliché depuis longtemps
    • Je déteste vraiment ça. Hier, j’ai lu sur un subreddit d’histoire un texte historique généré par IA dont toutes les sources semblaient être des films hollywoodiens fictifs
      Je l’ai vu parce que je connaissais ces films, mais c’est un signal très clair que l’Internet se dégrade du point de vue de la qualité de l’information
    • « Discrètement » n’est pas une nouvelle tournure propre aux LLM
    • Le fond du cliché, c’est qu’il dit à haute voix quelque chose censé être fait discrètement

  • Ce n’est que l’étape suivante du SEO. On appellera peut-être ça l’AIO
    Comme pour la recherche, Google et les fournisseurs d’IA publieront des correctifs, les sociétés d’optimisation trouveront des failles, puis elles seront rebouchées dans une guerre sans fin. Au bout du compte, il s’agit d’attirer l’attention pour faire du marketing

    • Dans l’industrie du marketing, on appelle généralement ça le GEO. Generative Engine Optimization, parfois aussi Answer Engine Optimization, et certains gagnent déjà beaucoup d’argent en vendant ce service
      https://www.wired.com/story/goodbye-seo-hello-geo-brandlight...
    • Engineered Inference Ersatz Intelligence Optimization, en abrégé EIEIO
    • Ce n’est pas l’étape suivante, c’est déjà l’étape actuelle

  • L’AI Overview de Google n’est pas du tout fiable. Il lui arrive de prendre un échantillon de taille 1 et de le présenter dans un résumé IA
    Je le sais parce que j’ai laissé un commentaire sur Reddit à propos d’un sujet très de niche pour lequel il n’y avait ni résultats Google ni AI Overview. Le lendemain, en cherchant mon post Reddit, j’ai vu que Google avait pratiquement copié-collé ma réponse Reddit telle quelle dans la boîte d’« overview » IA. Et le seul post lié, c’était le mien ; c’était aussi l’unique résultat Google

    • En plus de ça, Google l’enveloppe parfois dans un contexte absent du post original pour coller à la façon dont l’utilisateur a posé sa question. Du coup, ça devient tout simplement faux
      Par exemple, imaginons que vous cherchiez : « Quelle est la dimension la plus courante de l’objet rare X ? »
      Or il n’y a qu’une seule personne qui a donné les dimensions de sa propre version de cet objet, sans jamais dire que c’était typique ni même laisser entendre qu’une dimension typique existait. Et il ne s’agit pas de 20 personnes disant la même chose, mais vraiment d’une seule
      Malgré cela, Google peut répondre sans broncher : « En général, l’objet X mesure [la dimension que vous avez mentionnée], car [raison entièrement inventée] »

  • Si vous demandez à Google what's the name of the whale in half moon bay harbor?, Teresa T apparaît encore avec assurance dans le résumé IA grâce à une tentative assez amateur de pollution de l’index que j’ai faite il y a un an et demi
    https://simonwillison.net/2024/Sep/8/teresa-t-whale-pillar-p...

    • Je viens d’essayer avec Brave Search
      Il a répondu que le nom du jeune baleineau à bosse était Teresa T, en ajoutant que ce n’était pas un nom officiel donné par une agence publique, mais qu’il était largement repris par le public, les médias locaux et les habitants. Il ajoutait aussi que des experts du Marine Mammal Center et de la California Academy of Sciences le surveillaient pour éviter qu’il ne soit stressé, et qu’ils recommandaient au public de rester à au moins 100 yards de distance
      D’après mon expérience sur des sujets que je connais relativement bien, la réponse initiale est parfois gravement erronée. Avec l’outil Brave, on peut souvent le pousser à reconnaître que « vous avez tout à fait raison » après 3 ou 4 objections. C’était pareil ici avec Teresa T
      À la deuxième question, quand j’ai demandé combien de sources donnaient ce nom, il continuait à affirmer que « ABC7 News » et « NBC Bay Area » l’avaient « repris ». Quand j’ai exigé des liens précis une troisième fois, il a admis que le nom était utilisé dans un « contexte médiatique non officiel », puis à la quatrième, quand je lui ai dit que S.W. avait mené une expérience, il a retrouvé votre commentaire d’il y a 21 jours
      L’avenir appartient à une classe d’élite capable de faire éduquer ses enfants par de vrais tuteurs particuliers. Pour le prolétariat, c’est un retour en arrière
    • Tu n’as pas peur que Google envoie une mise en demeure pour tentative de manipulation de ses réponses IA ?

  • Il y a à peine quelques années, Google répondait déjà avec assurance 1963 à la question « Quelle année Marilyn Monroe a-t-elle tiré sur JFK ? ». Ce qui est impressionnant quand on sait qu’elle est morte en 1962
    Donc rien de nouveau ici, et la « riposte discrète » de Google sera probablement une réponse inefficace à moitié assumée. La plupart des gens risquent de ne pas s’en soucier

  • Au final, cela revient à dire que Google va enfin faire un peu de contrôle qualité sur ses résultats de recherche web, ce qu’il aurait dû faire depuis le début
    Le plus ironique, c’est qu’il a fallu que la réputation du modèle soit atteinte pour qu’ils commencent à faire des efforts