Comment exclure mon site web des résumés IA de Google

• Google a introduit dans les résultats de recherche des résumés générés par l’IA (AI Overviews), qui puisent souvent dans le contenu des sites et ont pour effet de leur retirer du trafic
• Les exploitants de sites ne disposent en pratique que d’options extrêmes, comme le blocage des extraits (max-snippet:0, nosnippet) ou un blocage partiel (data-nosnippet), ce qui les place dans un dilemme sans issue
• Côté utilisateur, il n’existe que des solutions d’évitement limitées et imparfaites, comme la désactivation dans Search Labs, des paramètres d’URL ou des extensions
• Les autorités de régulation de l’UE et du Royaume-Uni enquêtent actuellement sur le caractère anticoncurrentiel de Google AI Overviews et sur les préjudices causés aux éditeurs, et envisagent des mesures comme le partage de trafic ou un opt-out équitable
• Pour le moment, la seule réponse réellement applicable pour les éditeurs est max-snippet:0, mais son défaut majeur est de faire baisser le taux de clic, d’où les critiques visant la conception en dark pattern de Google

---

Le problème des résumés IA de Google (AI Overviews)

• Récemment, Google a introduit dans les résultats de recherche des résumés IA (SGE: Search Generative Experience) générés automatiquement par l’IA
• Cette fonctionnalité vise à améliorer l’expérience utilisateur en analysant le contenu principal des sites web pour l’afficher directement sous forme de résumé
• Mais de nombreux propriétaires de sites web se retrouvent confrontés au fait que les utilisateurs consomment uniquement le contenu résumé sans visiter le site d’origine
• Cela se traduit au final par une baisse du trafic organique des sites web

L’impact des résumés IA de Google

• Les résumés IA résument automatiquement le contenu des sites web sans le consentement de leurs propriétaires et l’affichent en haut des résultats de recherche
• Les utilisateurs ont de plus en plus tendance à se contenter du résumé sans cliquer vers le site d’origine
• En conséquence, l’efficacité des stratégies SEO traditionnelles diminue, au détriment des exploitants de sites

Comment les webmasters peuvent réagir

• 1. max-snippet:0
  • <meta name="robots" content="max-snippet:0">
  • Bloque tous les extraits et résumés IA, si bien que les résultats de recherche n’affichent plus que le titre + l’URL
    • Inconvénient : cela peut faire fortement baisser le taux de clic (CTR)
  • À ce stade, c’est la méthode la plus efficace, mais pas une solution parfaite
• 2. nosnippet
  • <meta name="robots" content="nosnippet">
  • Produit le même effet que max-snippet:0, en supprimant totalement la description et le résumé dans les résultats de recherche
    • Les résultats peuvent alors devenir plus monotones et moins attractifs
  • Empêche les résumés IA, mais peut entraîner une baisse de la visibilité dans la recherche
• 3. data-nosnippet
  • <span data-nosnippet>…</span>
  • Permet d’exclure sélectivement certains contenus
    • Mais Google peut toujours utiliser d’autres textes pour ses résumés, ce qui empêche tout contrôle total
  • Applicable à des éléments HTML (span, div, section)
• 4. Alternatives côté utilisateur (n’affectent que le compte personnel)
  • Opt-out Search Labs : les utilisateurs connectés peuvent désactiver “AI Overviews and more”
    • Cela ne s’applique qu’au compte utilisateur et n’a aucun effet sur la manière dont les autres voient le site web
  • Modificateurs d’URL : ajouter &udm=14, -AR, -noai à la requête de recherche
  • Extensions de navigateur : il est possible d’utiliser des outils comme Bye Bye Google AI
    • Ils peuvent cesser de fonctionner lors des mises à jour de Google
  • Hack Reddit : une méthode consistant à ajouter des grossièretés pour contourner les résumés IA a été proposée
    • Une rustine temporaire peu pratique
  • Sur iOS, on peut désactiver l’affichage de Gemini dans l’application Google, utiliser l’onglet Web, ou recourir à des navigateurs alternatifs comme Safari ou DuckDuckGo
• 5. Un espoir réglementaire : les enquêtes de l’UE et du Royaume-Uni
  • UE
    • Independent Publishers Alliance, Movement for an Open Web, Foxglove Legal et d’autres ont déposé une plainte antitrust auprès de la Commission européenne
    • Ils affirment qu’AI Overviews entraîne un usage abusif des contenus, une fuite du trafic et l’absence d’opt-out équitable
  • Royaume-Uni
    • La Competition and Markets Authority (CMA) enquête sur un possible frein à la concurrence causé par les résumés IA et sur les préjudices subis par les éditeurs
    • Elle étudie notamment l’affichage obligatoire des sources, le partage de trafic et des limites à l’auto-préférence de Google

Le fond du problème

• Le dilemme des éditeurs : s’ils ne bloquent pas les extraits, l’IA exploite leur contenu et provoque une perte de trafic ; s’ils les bloquent, ils perdent en visibilité dans la recherche
• Manque de contrôle pour les utilisateurs : les alternatives sont contraignantes, incomplètes et incohérentes
• Critique du dark pattern : la conception structurelle de Google est considérée comme un design manipulateur qui force les éditeurs à renoncer à quelque chose d’important
  • C’est un exemple typique de dark pattern imposant aux éditeurs un choix défavorable

Conclusion

• Tant que les régulateurs n’imposeront pas de changement, la seule option actuelle des éditeurs reste max-snippet:0, au prix d’une grave perte de visibilité
  • Les propriétaires de sites web doivent choisir de façon injuste entre bloquer les résumés IA et perdre en visibilité
• La politique de Google constitue une structure de choix forcé sans issue, c’est-à-dire un dark pattern typique
• Les futures décisions des régulateurs européens et britanniques sont le seul espoir de faire évoluer la situation, mais elles n’apporteront pas de solution immédiate

[laeyoung]

À ce sujet, il peut être utile de lire aussi l’article La fin de l’ère du SEO ? Le début de l’optimisation marketing pour les agents IA.

Quand on regarde Reddit sur les sujets liés au SEO, on voit pas mal de posts où les gens disent que, même si la visibilité sur Google reste la même, le trafic a beaucoup baissé à cause du zero-click, et expriment leur inquiétude à ce sujet.

[crawler]

> Considéreriez-vous cela comme une fonctionnalité équitable — ou comme un exemple classique de conception de dark pattern ? Dites-le-nous dans les commentaires.

Le texte dit vraiment de laisser un commentaire, mais il ne semble pas y avoir de fonction de commentaires sur le site.
Si c’est un article écrit par une IA pour expliquer comment bloquer l’IA, c’est tout de même assez contradictoire.

[GN⁺]

Commentaire Hacker News

• J’ai l’impression qu’on assiste depuis des décennies, dans tous les secteurs, à la généralisation du phénomène des « portails/courtiers ». Une couche tierce s’interpose entre consommateurs et producteurs, ce qui a simplifié la vie des deux côtés, mais dont on dépend désormais. Quand on commande sur Amazon, on ne parle plus directement au vendeur, et quand on commande à manger, on ne paie plus directement le restaurant. Sur le web aussi, quand on cherche de l’information, on n’a plus à gérer le style propre à chaque auteur, la navigation, les pubs, etc. Du point de vue des propriétaires de contenus, cette structure réduit les visites sur les pages et nuit aux revenus publicitaires et, contrairement à Amazon ou aux applis de livraison, les pertes pub liées aux résumés Google ne sont pas compensées. Comme l’essentiel des contenus en ligne vit de la publicité, et que Google dépend lui aussi de ses revenus publicitaires, il pousse malgré tout cette évolution parce qu’il estime ne pas avoir le choix pour l’avenir. Google semble uniquement concentré sur le fait de conserver sa place dans le futur

  • En réalité, je trouve frappante l’idée que ce changement profite aux deux parties. Pendant la transition, l’une des deux souffre forcément, mais au final je pense que le bénéfice est plus grand pour les consommateurs et la plateforme

• Le fait que Google ou d’autres IA aspirent et retraitent sans autorisation les contenus protégés de mon site produit logiciel me dérange. Mais si je les bloque, il devient presque impossible que mon contenu soit mentionné dans leurs résumés IA

  • Bloquer de cette manière peut en fait être pire, car pour les résultats concernant mon produit ou mon entreprise, le résumé IA risque alors de s’appuyer sur des sources autres que celle classée n°2. Par exemple, sur une recherche comme « comment retirer de l’argent depuis PayPal », si le deuxième site est un domaine négatif du style « PayPal sucks », le fait d’exclure le site officiel du résumé devient encore plus problématique. Au final, les éditeurs ont plutôt intérêt à laisser faire. Si l’on s’inquiète de la baisse de trafic, le lien « source » affiché dans le résumé apparaît avant n’importe quel autre résultat. Si l’on craint la désinformation, on peut agir via les signalements d’inexactitudes ou la modification du contenu. Et Google devrait permettre de se retirer séparément des résumés IA et des snippets ; si les résumés IA vous préoccupent, les snippets devraient vous inquiéter tout autant
  • J’ai peur qu’un jour Google me contacte pour me dire de payer si je veux qu’il parle de moi plus favorablement que de mes concurrents, ou de payer pour supprimer de fausses informations générées de manière injuste
  • Si c’est un site qui vend directement quelque chose, je pense au contraire qu’il est souhaitable d’apparaître dans les résumés IA

• Je ne comprends pas comment cette fonctionnalité de résumés IA n’est pas en train de cannibaliser les revenus futurs de Google. Google gagne de l’argent en envoyant du trafic vers des sites via la publicité, mais avec ce type de résumé il rend les sites eux-mêmes superflus. Dans ce cas, qui voudra encore créer un site sans visiteurs ?

  • Google dispose déjà de la technologie permettant d’insérer des publicités pour des produits et services dans les résumés IA. Un exemple concret décrit dans la recherche montre, pour une requête comme « vacances », des hôtels et des compagnies aériennes chacun mis en avant. Le lien vers cet article est ici
  • 99 % des revenus se concentrent sur les requêtes à intention d’achat claire, comme « buy macbook » ou « book trip to dc ». Sur les requêtes informationnelles, il n’y a presque pas de revenus publicitaires
  • On peut d’ailleurs le vérifier : les requêtes réellement rentables sont extrêmement peu nombreuses, et sur la majorité des recherches il n’y a même pas d’enchères publicitaires
  • En réalité, Google craint davantage que des technologies comme ChatGPT ne prennent sa place. Du coup, fournir immédiatement l’information recherchée par l’utilisateur est la meilleure façon de conserver sa position. À mon avis, les LLM sont imparfaits, mais pour les questions ambiguës, la synthèse d’informations, la traduction, etc., ils sont bien supérieurs aux moteurs de recherche. Quand on veut obtenir une information plutôt que trouver une page précise, les LLM se rapprochent davantage de l’idéal. Je ne serais pas surpris que les moteurs de recherche disparaissent d’ici dix ans
  • Il est possible que Google ait lui aussi été forcé d’introduire ce changement, à cause d’une réalité où les services fondés sur les LLM grignotent de plus en plus son terrain. Le fait que Google place les résumés IA au-dessus des publicités montre à quel point la situation est pressante pour lui

• J’ai configuré mon site personnel dans Apache pour bloquer l’indexation, les snippets, la traduction et l’indexation des images. Malgré cela, Internet Archive a quand même ignoré ces règles et aspiré le site, et n’a jamais donné suite à plusieurs demandes de suppression. J’utilise maintenant Anubis pour bloquer davantage de scraping. (C’est un journal public commencé en 2000, et je préfère qu’il ne soit pas trouvable par recherche)

  • Je ne comprends pas qu’on mette quelque chose publiquement sur Internet tout en ne voulant pas qu’il soit sauvegardé. Si le domaine disparaît un jour et que vous voulez le relire plus tard, c’est plutôt une chance qu’il soit resté dans Internet Archive. Dès lors que c’est mis en ligne, c’est par nature public
  • Ce qui me peine le plus, c’est qu’Internet Archive ne réponde tout simplement jamais à ma demande. Pour les contenus illégaux (diffamation, secrets d’État, certains contenus pornographiques, etc.), il peut y avoir des exceptions de suppression, mais si le contenu a été publié volontairement, le principe général est qu’on ne devrait pas autoriser son effacement de l’archive historique. Si je voulais vraiment cacher des informations personnelles, je les aurais placées derrière une connexion. Le site existe toujours, et quelqu’un continue à le crawler
  • Les snapshots comportent un champ « why? ». En pratique, il est aussi possible que, outre Internet Archive, Common Crawl, Archive Team ou d’autres aient poussé mon site. Il faut vérifier la raison pour identifier précisément la source
  • Il faut tenter une demande de suppression ou d’exclusion auprès d’Internet Archive via robots.txt. Cette politique a changé plusieurs fois, mais ces dernières années ils respectent de nouveau robots.txt. Voir la FAQ

• D’une certaine manière, publier consiste à rendre quelque chose public afin que les gens aient une certaine liberté d’en faire usage. Cette liberté peut aider le site, ou non. Chaque fois qu’une grande plateforme comme Google change, les éditeurs de contenus ont toujours dû s’adapter. Les résumés IA ne sont qu’une évolution de plus dans ce mouvement

  • À mon avis, c’est une vision assez empreinte de sentiment de privilège. J’ai déjà publié du logiciel sous licence. Le simple fait de rendre quelque chose public ne signifie pas que tout le monde peut l’utiliser pour n’importe quel objectif
  • Mon point de départ, c’est que je publie mon contenu tout en conservant mon copyright. Je ne donne pas la liberté à quiconque de le republier commercialement. Peut-être qu’un futur viendra où il faudra cacher le contenu derrière une connexion, mais ce serait un avenir amer pour le web
  • Depuis le Statut d’Anne de 1710 (la première loi sur le copyright), même les informations diffusées publiquement sont soumises à des règles
  • Je publie mes textes pour que les gens les lisent directement, pas pour que Google en fasse des résumés IA bâclés. Les décisions de Google vont au final dans le sens de ses propres intérêts
  • Publier ne devrait pas signifier abandonner tous ses droits. Beaucoup écrivent pour rassembler un lectorat proche d’eux. Lorsqu’un intermédiaire s’insère au milieu, cela peut au contraire détériorer le lien entre auteur et lecteur. Si je veux faire un résumé, je peux le faire de la manière que je souhaite, mais la plupart des auteurs ne veulent pas de résumés générés par LLM. Les LLM ont en outre de nombreux biais, et peuvent résumer de travers en supprimant via leurs propres filtres les paragraphes pourtant essentiels. Il n’y a rien de plus destructeur pour une idée que d’être transmise sous une version affaiblie et déformée de ce que je pense

• Dans le dernier paragraphe de ce billet de blog, il est écrit « laissez un commentaire », mais la zone de commentaires n’apparaît nulle part, donc je me demande si ce n’est pas du contenu généré par IA

• Je me demande si cette fonctionnalité marche aussi chez Perplexity, OpenAI, Claude, etc.

• Je pense que ce serait bénéfique pour tout le monde si Google citait clairement ses sources, comme Perplexity. Cela donnerait des liens et du crédit à l’original, tout en améliorant l’UX

  • Google cite bien des sources, mais de façon tellement discrète, avec un symbole Unicode d’un seul caractère en forme de « lien », qu’on le remarque à peine. Et quand on clique, on n’arrive pas directement sur la page source : cela ouvre un panneau latéral, qui contient souvent plusieurs sources. Techniquement, cette citation est bien le premier lien de la page de résultats, mais en pratique il faut deux clics pour atteindre ma page. Ce serait mieux de rendre les citations plus visibles, d’utiliser le titre de la page comme texte d’ancrage, et de proposer un lien direct. S’il y a plusieurs citations, il vaudrait mieux laisser le panneau latéral ouvert dès le départ, ou bien toutes les afficher directement sur la page principale

• À l’avenir, mon domaine d’expertise sera la manière d’optimiser les sites d’entreprise pour que les LLM les résument correctement. Il y aura besoin de contenus de guidage détaillés et fidèles de ce type

• J’ai collé le titre et le domaine de cet article, et j’obtiens un résultat différent. Image de référence