Le déclin de Google Search par « mille entailles »

 (matt-rickard.com)
1 points par GN⁺ 2023-07-04 | 1 commentaires | Partager sur WhatsApp
  • À mesure que les grands sites multiplient les restrictions d’accès, comme le passage de Reddit en privé et les exigences de connexion ou les limitations de débit de Twitter, de nombreux liens dans les résultats de Google Search deviennent en pratique impossibles à ouvrir
  • Avec l’entraînement des grands modèles de langage sur des données publiques, les sites de contenu ont davantage intérêt à vendre leurs données ou à les exploiter directement plutôt qu’à continuer de les laisser ouvertes
  • Ces restrictions peuvent empêcher ou compliquer l’exploration de l’index de recherche de Google, et avoir aussi un impact sur l’accès aux données d’entraînement des modèles d’IA
  • Si même des sites qui apparaissent fréquemment dans les résultats, comme Wikipedia, rendent l’accès à leur API payant ou le restreignent, les sources essentielles de Google Search pourraient aussi être fragilisées
  • Même si Google renforce ses résultats avec des réponses générées par l’IA, si les données migrent derrière des murs de connexion et des péages, la qualité de la recherche pourrait se dégrader progressivement sur plusieurs années

Les restrictions d’accès transforment les résultats de recherche en liens morts

  • Certaines communautés Reddit restent toujours privées pour protester contre les nouvelles règles de l’API
  • Twitter renforce son mur de connexion et applique des limitations de débit aux utilisateurs
  • Ces changements transforment de fait en liens morts des millions de résultats encore présents dans l’index de Google
    • Les utilisateurs qui s’appuyaient sur Google pour trouver des résultats Reddit perdent une alternative, alors même qu’ils jugent la recherche interne de Reddit moins bonne
    • Les liens vers des tweets dans les résultats de recherche conduisent de nombreux utilisateurs à un écran demandant de se connecter

À l’ère de l’IA, le contrôle des données met l’index de Google sous pression

  • Les grands modèles de langage sont entraînés sur des données publiques collectées via des API, et plus un site contient de contenus, plus il est susceptible d’être affecté par des modèles entraînés sur ses propres données
  • Ces sites peuvent restreindre l’accès à leurs données, puis envisager deux options
    • Vendre les données
    • Entraîner leur propre modèle
  • Les restrictions d’accès empêchent ou compliquent le processus par lequel Google collecte automatiquement des données pour la recherche, et influent aussi sur l’accès aux données destinées à l’entraînement de modèles
  • Google Search pourrait subir mille entailles, en perdant des résultats site par site

  • Si Wikipedia impose des restrictions

    • On estime que Wikipedia apparaît en première page dans 99 % des recherches Google
    • Rendre l’accès à l’API payant ou le restreindre pourrait avoir un impact important sur les résultats de recherche
    • Les données de Wikipedia constituent un jeu de données présent dans les corpus de presque tous les grands modèles de langage
    • La Wikimedia Foundation sollicite un soutien financier via des bannières de dons et a lancé en 2021 Wikimedia Enterprise, un produit d’API destiné aux entreprises
    • À mesure que les résultats deviennent un à un des liens morts et sont retirés de l’index, les utilisateurs dépendront davantage de la recherche propre à chaque site au sein de services fermés
    • Google pourrait tenter de renforcer ses résultats avec des réponses générées par l’IA, mais toutes les réponses ne seront pas forcément assez bonnes, et les données d’entraînement pourraient elles aussi passer derrière des murs de connexion ou des péages
    • Jusqu’à l’arrivée de nouvelles alternatives, la recherche pourrait se dégrader progressivement pendant plusieurs années

À lire aussi

1 commentaires

 
GN⁺ 2023-07-04
Avis sur Hacker News

  • J’ai l’impression que la recherche Google est en train de mourir lentement depuis déjà longtemps
    Avant, on pouvait trouver des documents, des messages de forum, des wikis, bref des informations concises ; aujourd’hui, on ne voit plus que du marketing optimisé pour les moteurs de recherche, des fermes de liens, du clickbait, de longs articles de plusieurs milliers de mots qui ne disent rien, des tirades politiques hors contexte si l’on n’est pas Américain, et une quantité énorme de publicité
    Cette situation semble être le résultat direct de Google Ads et de l’algorithme de recherche de Google lui-même, ce qui rend le fait de poser la question à un LLM bien plus attrayant qu’une recherche. Sans les hallucinations, l’IA peut éliminer le bruit et extraire la vraie information
    Le web n’est plus un espace pour les humains ou pour chercher de l’information, mais pour les bots, les crawlers, l’algorithme de Google et le marketing ; et comme les humains ont de plus en plus de mal à digérer tout ça, ils en viennent à attendre de l’IA des résultats plus concis et plus essentiels

    • Google a en quelque sorte tué la poule aux œufs d’or. Google dépend d’un web ouvert et sain, mais en tant qu’un des acteurs qui influence le plus fortement le web, l’entreprise a complètement échoué à maintenir ou améliorer cet écosystème
    • Il y a peu, j’ai cherché "canned cabbage soup" et le site mobile s’est figé sur un mode que je n’avais jamais vu auparavant
      Il n’affichait, via une interface de recommandations en tuiles, que des recettes de blog spam expliquant comment mettre soi-même de la soupe aux choux en conserve ; aucun lien texte classique, et aucun vrai produit de soupe en conserve. Même après avoir parcouru plusieurs pages, rien ne changeait
      Bizarrement, en cherchant "canned cabbage soup history", le moteur est repassé en mode résultats normal, avec des produits et Wikipedia. Si c’est une recherche à forte intention d’achat, on voit bien la logique commerciale derrière le fait de saboter Google avec une recherche spéciale étrange, mais je ne comprends pas pourquoi il existe un mode « fournir du spam de blog »
      En plus, je vois maintenant au moins cinq fois par jour l’écran qui demande si je suis un robot
    • Hier soir, j’ai recherché une expression qui était exactement le titre d’une page, et il y avait 0 résultat. En changeant la requête, la page que je cherchais est apparue en premier résultat ; Google a vraiment énormément régressé
    • Ce que j’attends d’un moteur de recherche, ce n’est pas qu’une IA résume le tout de manière plus concise et plus digeste
      Ce que je veux, c’est une liste de liens vers les endroits où se trouve l’information pertinente, et je n’attends pas d’un moteur de recherche qu’il résume ou nettoie le contenu. Si on ne lit pas et ne comprend pas soi-même, trop de savoir et de contexte se perdent
    • Une partie de la peur autour de l’IA et du machine learning vient peut-être du fait qu’ils se rendent compte que tout leur monde de la pub et du marketing pourrait devenir sans objet
      Les utilisateurs peuvent obtenir des réponses courtes et précises sans passer par la publicité, ce qui ressemble à ce qu’était le web il y a longtemps

  • Pendant ce temps, les sites clones spam de Stack Overflow qui devraient justement être supprimés, ou les sites comme Canva et Pinterest qui génèrent des milliers de pages quasi identiques avec des titres légèrement différents, sont toujours tolérés par Google et apparaissent en haut des résultats
    Je déteste aussi les 10 premières pages qui sortent pour une recherche comme "best domain name registrar". J’aimerais qu’on me montre de vrais registrars de noms de domaine, pas des billets de blog spam remplis de liens d’affiliation ; et ChatGPT, lui, le fait
    Google est trop gravement manipulé, et on dirait qu’ils n’y touchent pas vraiment parce que leurs propres publicités sont intégrées dans ces billets de blog spam. Il existe bien des astuces de filtrage uBlock Origin apprises sur HN, mais c’est Google qui devrait corriger la recherche elle-même. Aujourd’hui, le contenu utile est bloqué et le contenu spam est mieux classé

    • Dès la première fois où j’ai vu le mot SEO, j’ai eu l’impression que le chronomètre jusqu’à la mort de la recherche venait de démarrer
      À l’époque, les astuces du genre mots-clés en police minuscule et transparente, visibles par les crawlers mais pas par les utilisateurs, faisaient déjà grimacer ; mais le jour où la manipulation des moteurs de recherche est devenue un métier, on a commencé à voir la fin de la recherche
      On finira sans doute par revenir aux webrings et aux index de liens, avant d’abandonner aussi ça après intégration et monétisation à outrance. Avec un peu de chance, on reviendra peut-être aux BBS en accès commuté dans les années 2040
    • Kagi a récemment publié le classement personnalisé par domaine de ses utilisateurs, et Pinterest était n°2 en « rétrogradé » et n°1 en « bloqué » : https://i.imgur.com/ViLamx7.png
    • J’ai toujours eu le sentiment qu’il suffirait qu’une seule personne fasse des recherches aléatoires, étiquette le spam évident et l’exclue de l’index pour que ce soit déjà assez efficace
      Mais Google semble s’obstiner à entraîner une IA incapable de faire ce travail, alors même qu’ils pourraient embaucher des humains capables de bien le faire
    • Je ne comprends pas pourquoi il est impossible de simplement supprimer les sites clones spam de Stack Overflow. À chaque fois que je cherche une réponse, je perds un temps précieux
      Cela paraît être une fonctionnalité simple, mais Google a perdu le nord depuis longtemps
    • Pour ceux qui utilisent Google ou DDG, j’ai un filtre uBlock contenant des centaines de sites clones GitHub/StackOverflow : https://github.com/quenhus/uBlock-Origin-dev-filter
      Il bloque et masque les sites clones sur plusieurs moteurs de recherche. On peut aussi l’utiliser avec uBlacklist

  • C’est un échec d’innovation de Google
    L’objectif de Google était « d’organiser les informations à l’échelle mondiale », mais l’entreprise n’a pas su créer quelque chose comme Wikipedia, un dépôt d’informations soigneusement sélectionnées et de haute qualité, agréable à lire pour des humains, et elle n’a pas non plus créé ChatGPT, le premier LLM suffisamment bon pour faire du rappel d’information non trivial et de l’organisation
    Après son succès initial avec la recherche, Google a tenté de consolider son avance en déversant de l’argent sur « les personnes les plus intelligentes » pour les rendre difficiles à recruter par la concurrence. Le résultat, c’est qu’il est devenu plus avantageux d’utiliser les ressources pour contrôler l’infrastructure d’Internet, comme Android, Chrome ou l’e-mail, afin de préserver son avantage existant, plutôt que d’innover
    S’il n’y a pas un changement très majeur, je considère Google comme un mort-vivant. Ici, « les personnes les plus intelligentes » désigne des gens qui ont réussi académiquement, mais qui suivent bien les règles, manquent d’imagination et évitent le risque

    • Google a pourtant mis au point les percées fondamentales sur lesquelles tous les LLM d’aujourd’hui reposent encore, en particulier l’architecture d’attention, ainsi que l’entraînement de réseaux neuronaux profonds à grande échelle, et possédait même un chatbot similaire, Meena, bien avant l’arrivée de ChatGPT
      Cela dit, comme ils ne l’ont pas publié pour le grand public, on peut bien parler d’échec d’innovation, mais pas d’échec sur le plan technologique ou du machine learning
      https://ai.googleblog.com/2020/01/towards-conversational-age...
    • Google avait des LLM avant OpenAI, et a aussi créé les techniques clés qui les ont rendus possibles
      Mon interprétation, c’est que Google s’est laissé écraser par son propre poids. Les amendes gouvernementales et une structure d’entreprise qui a commencé à les craindre ont ralenti les choses, et dans un tel environnement il devient très difficile de lancer des changements
      La ligne de base joue aussi. Les gens réagissent au changement et considèrent l’état existant comme l’étalon-or. Dans ces conditions, il est difficile de proposer des changements radicaux
      Je pense que la seule porte de sortie est de réduire les produits. Les scinder, les fragmenter, ou devenir suffisamment petit par rapport au reste pour ne plus être la cible par défaut. Des entreprises comme Coca Cola ou Procter & Gamble font bien ça
    • J’ai des doutes sur la qualité du contenu de Wikipedia
      Tout ce qui peut être politisé finit par l’être, et tout ce qui peut être utilisé pour pousser le projet ou le point de vue de quelqu’un finit par être exploité
      Même sans malveillance, comme c’est basé sur du bénévolat, certains articles peuvent manquer d’informations pertinentes ou contenir des erreurs
    • Les prédictions sur la mort de Google me semblent prématurées. Au-delà de la recherche, l’entreprise contrôle l’écosystème Android
    • Il y a quelques jours, certains discutaient de l’idée de Schumpeter selon laquelle « les très grandes entreprises mènent l’innovation », et je me demande comment Google Search s’inscrit dans cette perspective

  • En travaillant en sciences planétaires, j’avais l’habitude de chercher des ID d’image sur Google
    En général, il s’agissait d’images précises d’orbite lunaire mentionnées dans des articles, et bien sûr il existe des archives dédiées pour chercher ce genre de chose, mais Google donnait des résultats étonnamment bons
    Maintenant, quand je cherche un ID d’image, j’obtiens littéralement zéro résultat. Je ne sais pas ce qui a changé. Je me demande s’ils ont supprimé l’index du Planetary Data System ou celui des articles de sciences planétaires

    • Les requêtes à forte entropie, comme les références de pièces ou les codes d’erreur, semblent subir le même sort
      Pire que l’absence totale de résultats, il y a le cas où des « résultats » avec des chiffres ou des codes légèrement différents reviennent page après page
    • Plutôt que d’avoir supprimé ces résultats de l’index, on dirait qu’ils sont passés à la recherche vectorielle au lieu de la correspondance textuelle. Ce genre d’ID n’a tout simplement pas sa place dans l’espace vectoriel
    • Quand j’étudiais la littérature, je pouvais retrouver des références très vagues simplement en décrivant quelques fragments de texte ou de thèse dont je me souvenais
      Maintenant, soit il n’y a aucun résultat, soit seulement des articles SEO sans rapport
    • Pour la recherche d’images, mieux vaut essayer Yandex plutôt que Google. En recherche d’images, c’est au moins un ordre de grandeur devant Google
      Édit : j’avais raté le fait qu’il s’agit de chercher non pas une image, mais un ID d’image
    • Je soupçonne BERT et la recherche sémantique
      Avant cela, la plupart des modèles d’embedding de mots étaient monolingues et ne tenaient pas compte du contexte, donc peu utiles pour la recherche, ce qui obligeait Google à s’appuyer sur un index inversé et des algorithmes affinés pendant des années
      Après BERT, il est devenu possible de créer des modèles capables d’encoder les requêtes de recherche dans 99,99 % des langues, et comme ça marche à peu près bien pour 99 % des requêtes, ils semblent considérer que c’est suffisant
      Il aurait pourtant été relativement simple de détecter quelles requêtes fonctionnaient mieux avec l’ancien index qu’avec la nouvelle méthode, mais ils ne semblent pas l’avoir fait, et le résultat est la disparition d’une bonne part de l’utilité de choses comme la recherche de numéros de téléphone

  • Le déclin de Google va plus loin qu’un problème de corpus, et l’algorithme de classement se dégrade aussi fortement
    Il y a une semaine, la recherche < James Palmer manchester foreign policy > ne faisait pas remonter https://foreignpolicy.com/2017/05/23/i-love-manchester-but-p... sur la première page, alors que < James Palmer manchester site:foreignpolicy.com > le trouvait
    Aujourd’hui, cela semble corrigé, mais le fait de ne même pas satisfaire une intention de recherche aussi élémentaire aurait été inimaginable sur Google il y a encore quelques années
    https://twitter.com/BeijingPalmer/status/1670904508191322112
    https://twitter.com/shalmanese/status/1670973880637493249

  • C’est la version Internet de la tragédie des biens communs : https://en.wikipedia.org/wiki/Tragedy_of_the_commons
    Trop de personnes et de groupes essaient d’en tirer profit avec le moins d’efforts possible, et des ressources partagées comme les données librement accessibles, les API ouvertes ou les logiciels FLOSS sont grignotées sans considération pour les effets à long terme
    Les données peuvent être copiées à l’infini, mais quelqu’un doit d’abord les produire, et si elles ne sont pas mises à jour, elles vieillissent et perdent de leur utilité. Si plus personne n’a la volonté ni la capacité de les créer ou de les actualiser, ce qui est bon disparaît, et le rapport signal/bruit s’effondre brutalement. Tout devient du bruit et tout devient mauvais

    • Dans l’histoire de l’humanité, la propriété intellectuelle est un phénomène relativement récent
      Beaucoup de technologies et de cultures ont été créées sans cette « protection ». Je me demande parfois à quoi aurait ressemblé l’histoire récente sans droit d’auteur ni brevets
    • En ce moment, on dirait une zone de MMO où les spammeurs et les vendeurs sont tellement entassés qu’on ne peut même plus trouver le donneur de quête

  • Il y a longtemps, Google était très utile même sans Reddit
    S’il est devenu une entreprise géante, ce n’est pas pour rien : il faisait vraiment de bons outils et de bons services. Les gens utilisaient ses produits parce qu’ils étaient bons, et Search, Gmail, Maps, Translate, tout ça, c’étaient des bijoux
    Je ne sais pas si la recherche a été laissée à l’abandon ou délibérément sabotée, mais elle est bel et bien cassée, indépendamment de Reddit. Reddit contient beaucoup d’informations, mais ce n’est pas l’unique site web d’Internet
    Pourtant, Google donne l’impression de n’indexer que les 150 à 200 plus gros sites du web, et même dans ces résultats, il manque souvent les termes de recherche

    • Je pense aussi que le fait qu’Internet se soit cloisonné et qu’une grande partie des espaces publics soit passée derrière une connexion y contribue
    • La recherche Google s’est dégradée à l’époque d’AdWords, à mesure qu’Internet évoluait
      Tout le monde a compris qu’on pouvait gagner de l’argent avec les pages vues et l’optimisation pour les moteurs de recherche, et une course vers le bas a commencé pour être numéro 1 sur chaque requête
      Même si Google adoptait une approche totalement centrée sur l’utilisateur, cela paraît être un problème difficile à résoudre ; et en plus, depuis Sundar, Google est devenu en pratique un IBM/Oracle. Donc il tourne autour de la bonde deux fois plus vite
    • Ils l’ont délibérément cassée pour l’argent
      À partir du moment où ils ont commencé à payer les gens pour manipuler leur moteur de recherche, c’est-à-dire au moment du lancement d’AdSense, tout a pris la voie de l’inutilité. Ces incitations existaient déjà, certes, mais Google leur a mis un turbo en 2022 avec 33 milliards de dollars d’incitations
    • D’un point de vue d’entreprise à court terme, « ont-ils laissé la recherche à l’abandon ou l’ont-ils délibérément cassée ? » est peut-être une fausse alternative
      Si les revenus publicitaires de la recherche augmentent, alors la recherche va bien, elle n’a l’air ni pourrie ni cassée
      On suppose que Google traite ses utilisateurs comme des clients, mais en réalité il peut les traiter comme une ressource naturelle exploitable

  • Wikipedia dispose de dumps de données téléchargeables, le coût pour les fournir à Google est quasi nul, et il existe une mission organisationnelle de mise à disposition publique de ces données
    Même si elle décidait de faire payer l’accès, Google pourrait probablement l’assumer. Mieux vaut éviter de lancer des hypothèses complètement irréalistes

    • La vente d’un accès à des données « consommables », c’est Wikimedia Enterprise : https://en.wikipedia.org/wiki/Wikimedia_Enterprise
    • Si Wikipedia faisait payer ou limitait l’accès à son API, mon jeu de puzzle Redactle(https://redactle.net) se retrouverait menacé comme GeoGuessr l’a été par la facturation de Google Maps
      Et pour rester sur le sujet de l’article, il a été difficile de faire remonter Redactle dans Google parce que des versions mal codées, bourrées de pub, faisaient partie de groupes de fermes à liens. Beaucoup d’entre elles se faisaient passer pour ma marque « Redactle Unlimited »
      Google semble préférer un paquet de sites spam qui se maillent entre eux à des milliers de liens postés par des utilisateurs vérifiés sur Reddit, Facebook, etc.
    • Oui, Google peut assumer le coût
      Mais que se passerait-il si Wikipedia exigeait 10 % du chiffre d’affaires quand ses données servent à afficher des résultats de recherche ? Je me demande si Google accepterait, ou s’il créerait un concurrent à Wikipedia avant de le tuer quatre ans plus tard
      Le système est tellement complexe qu’il est très difficile de prédire comment il réagirait si une partie subissait d’autres contraintes. Le scraping de données de Reddit par OpenAI, l’envie de Reddit de monétiser, les modérateurs Reddit protestant contre les règles, la prolongation indéfinie du blackout de deux jours, ou encore le fait que des articles LLM publiés par Google finissent par affecter son propre business via ChatGPT, tout cela est imbriqué

  • Le vrai méta-problème ici, c’est l’ancienne question du mode de financement des services web, recherche comprise
    Google, Twitter, Reddit et Gfycat sont tous des variations immédiates du même problème, et il n’existe pas de solution technique à cela. L’idée naïve selon laquelle tout cela pourrait être gratuit est absurde, surtout quand on le dit au sein d’un écosystème soutenu par les recettes publicitaires
    Quelqu’un doit payer le développement et l’exploitation, et en général c’est celui qui paie qui décide, ce qui conduit aux désastres UX modernes
    Au moins, pour l’instant, grâce à la situation du capital-risque, il y a beaucoup moins de dumping produit de fait visant à détruire le marché des acteurs légitimes

    • D’accord. Quand les gens refusent de payer pour ce qu’ils jugent précieux, alors cette chose n’est plus faite pour eux
      Elle est faite pour ceux qui paient, c’est-à-dire les investisseurs

  • Le problème de Google aujourd’hui, ce n’est ni Reddit ni Twitter
    Google est devenu une marque remplie de résultats vraiment médiocres et de campagnes AdWords, et on ne sait même plus très bien ce pour quoi les marketeurs paient
    Il faudrait peut-être revenir au papier original de Brin et Page : https://research.google/pubs/pub334/
    Google fait encore des choses impressionnantes, comme AlphaZero ou Project Zero, mais on a l’impression que, comme Xerox PARC autrefois, plus rien de vraiment nouveau ne sort de l’organisation
    En revanche, Google Workspace, par exemple Sheets et Docs, reste un bon concurrent dans la bureautique. L’exécution business est bonne, mais la recherche dans Google Drive est nulle