Google peine à retirer manuellement les réponses IA aberrantes dans la recherche

• Les réseaux sociaux s’emballent autour d’exemples où le nouveau produit AI Overview de Google raconte n’importe quoi
  • Au point de conseiller aux utilisateurs de mettre de la colle sur leur pizza, ou encore de manger des pierres
• Ce lancement chaotique pousse Google à désactiver en urgence et manuellement AI Overview pour certaines recherches
  • À mesure que les mèmes se multiplient, les utilisateurs constatent que certains résultats disparaissent peu après avoir été publiés sur les réseaux sociaux

AI Overview de Google

• Google teste AI Overview depuis un an
  • Lancement en bêta en mai 2023 sous le nom de Search Generative Experience
  • Le CEO Sundar Pichai a indiqué que plus d’un milliard de requêtes avaient été traitées pendant cette période
• Pichai a également déclaré que le coût de fourniture des réponses IA avait baissé de 80 %
  • Grâce au matériel, à l’ingénierie et à des avancées techniques
  • Mais ces optimisations ont peut-être été poussées trop tôt, avant que la technologie ne soit prête

Problèmes de qualité de l’IA

• Un fondateur de startup IA a indiqué que Google était désormais connu pour produire des sorties de mauvaise qualité
• Google affirme qu’AI Overview fournit principalement des « informations de haute qualité »
  • La porte-parole de Google, Meghann Farnsworth, a confirmé par e-mail que l’entreprise prenait rapidement des mesures pour retirer AI Overview sur certaines requêtes
  • Elle a ajouté que ces exemples servaient à développer des améliorations plus larges du système

Avis d’un expert en IA

• Gary Marcus, professeur émérite de neurosciences à l’université de New York, explique que de nombreuses entreprises de l’IA vendent le rêve d’une technologie capable de passer de 80 % à 100 %
  • Les premiers 80 % consistent à approximer une grande quantité de données humaines, ce qui est relativement simple
  • Les 20 % restants constituent une tâche extrêmement difficile
  • En pratique, cela pourrait nécessiter une intelligence artificielle générale (AGI)

La situation concurrentielle de Google

• Bing a intégré l’IA avant Google
  • OpenAI développe son propre moteur de recherche
  • De nouvelles startups de recherche IA valent déjà un milliard de dollars
  • Les jeunes générations veulent la meilleure expérience et se tournent vers TikTok
• Google subit la pression de la concurrence, ce qui a conduit à un lancement IA désordonné
  • En 2022, Meta avait lancé un système d’IA appelé Galactica, rapidement retiré après divers problèmes, dont des conseils suggérant de manger du verre

Les plans de Google pour AI Overview

• Google a de grands projets pour AI Overview.
  • Les fonctionnalités actuelles ne représentent qu’une petite partie de ce que l’entreprise a annoncé la semaine dernière.
  • Raisonnement en plusieurs étapes pour les requêtes complexes, pages de résultats organisées par l’IA, recherche vidéo dans Google Lens, etc.
• Mais, pour l’instant, la réputation de l’entreprise dépend de sa capacité à bien gérer les bases, et la situation ne semble pas très bonne

Gary Marcus - « [Ces modèles] sont fondamentalement incapables d’effectuer une vérification élémentaire de leur propre travail, et c’est ce qui va freiner tout ce secteur »

L’avis de GN⁺

• Problème de fiabilité de l’IA : les systèmes d’IA ont une limite structurelle, car ils ne peuvent pas vérifier leur propre travail. Cela crée un risque de fournir de mauvaises informations aux utilisateurs.
• Pression concurrentielle : Google ressent la pression de ses concurrents, ce qui peut affecter la qualité des lancements de produits.
• Défi technique : faire passer la technologie IA de 80 % à 100 % est une tâche extrêmement difficile. Cela illustre bien les limites et les défis de l’IA.
• Expérience utilisateur : les jeunes générations veulent la meilleure expérience possible, un point sur lequel Google doit continuer à progresser.
• Autres alternatives : pour les utilisateurs qui envisagent un moteur de recherche IA, Bing ou de nouvelles startups du secteur peuvent aussi constituer de bonnes alternatives.

[hhcrux]

« Beaucoup d’entreprises de l’IA vendent le rêve que la technologie passera de 80 % à 100 %. »
C’est aussi quelque chose que je pense souvent. C’est aussi l’une des raisons qui me font penser que, même si le monde de l’IA arrive, il y aura toujours du travail pour les humains.

[GN⁺]

Avis Hacker News

Résumé d’une sélection de commentaires de Hacker News

• L’approche de Google consistant à supprimer manuellement des suggestions de recherche

  • Cela rappelle des cas passés où Google essayait d’ajuster l’algorithme lui-même plutôt que de modifier manuellement les résultats de recherche.
  • Lors d’un test de Froogle en 2002, une recherche sur "running shoes" faisait apparaître une statue de lutin de jardin parmi les premiers résultats.
  • Un ingénieur a acheté le produit, ce qui a résolu le problème. Les bons résultats ont alors été renvoyés sans modifier l’algorithme.

• Les problèmes de précision de l’IA

  • Atteindre les 80 % initiaux de précision est relativement facile, mais les 20 % restants sont très difficiles.
  • Une précision de 100 % est un objectif que même les humains ne peuvent pas atteindre.
  • L’objectif est de réduire les réponses manifestement absurdes.
  • Les LLM (grands modèles de langage) produisent de bons textes, mais éliminer les réponses manifestement absurdes n’est pas toujours une bonne chose.

• Les problèmes de qualité de la recherche chez Google

  • Certains estiment que Google a perdu sa direction à cause de la guerre de l’IA.
  • Aujourd’hui, les résultats de recherche de Google sont remplis de spam, de clickbait et de propagande.
  • Les résultats devraient au minimum refléter des vérités largement reconnues.
  • Il est important d’identifier les contenus manifestement trolls, le clickbait et les contenus malveillants.

• La différence entre un moteur de recherche et un moteur de questions

  • Un moteur de recherche est un outil pour explorer Internet, pas un outil pour poser des questions.
  • Demander quelque chose via l’IA est une tâche différente de celle qui consiste à faire une recherche sur Internet.

• Les problèmes d’intégration de l’IA chez Google

  • Chaque fois que Google intègre de l’IA, les mêmes problèmes se répètent.
  • Quand un problème survient, un cadre dirigeant annonce qu’il va le résoudre, mais les mêmes problèmes reviennent.

• Les problèmes de jeu de données chez Google

  • Il est choquant que Google, qui affine ses résultats de recherche depuis 25 ans, ne dispose pas d’un bon jeu de données.
  • Il pourrait être nécessaire d’utiliser de vieux CD d’encyclopédies pour constituer les données d’entraînement.

• La génération et les tests de requêtes étranges à l’aide de LLM

  • Il est décevant que Google n’ait pas utilisé de LLM pour générer et tester des requêtes étranges.
  • Une mise en production propre présente de nombreux avantages.
  • La course actuelle à l’IA est peut-être une course vers le bas.

• Les problèmes des premières versions de l’IA

  • L’IA actuelle est pire que la recherche traditionnelle sur tous les plans.
  • Les doigts dans les images générées par l’IA sont impressionnants.

• Le problème des hallucinations des LLM

  • Les gens pensent que les LLM n’hallucinent qu’occasionnellement, mais cela se produit en réalité bien plus souvent.

• L’ironie de la suppression manuelle des résultats d’IA

  • Il est ironique de supprimer manuellement des résultats d’IA erronés.