- Les clients de toutes les offres peuvent désormais autoriser ou bloquer le trafic automatisé en le répartissant entre Search·Agent·Training, ce qui permet de définir des politiques plus fines que l’ancien blocage global des bots IA
- Le critère de classification n’est pas l’usage de l’IA en soi, mais les actions effectuées sur le site et l’usage du contenu ; pour les crawlers polyvalents, toutes les règles pertinentes s’appliquent, et Cloudflare recommande de séparer les crawlers par objectif
- À partir du 15 septembre 2026, sur les pages affichant des publicités des nouveaux domaines, Training et Agent seront bloqués par défaut tandis que Search restera autorisé, et les règles les plus restrictives s’appliqueront aux crawlers polyvalents comme Googlebot, Applebot et BingBot
- Avec BotBase pour Enterprise Bot Management, il sera possible de rechercher les catégories et identifiants de détection des bots et agents connus ; des niveaux d’usage du contenu
immediate·reference·full ainsi qu’un signal use dans robots.txt sont aussi introduits
- Verified ne signifie plus autorisation automatique, et Cloudflare veut utiliser la confiance transitive via l’en-tête
Forwarded de la RFC 7239 pour transmettre au-delà de la couche intermédiaire l’opérateur et la manière dont le contenu est utilisé
Pourquoi contrôler le trafic IA selon l’usage
- Historiquement, le crawling du web reposait sur une relation où la collecte du contenu d’un site était compensée par un trafic issu de la recherche, mais l’entraînement de l’IA posait problème en réutilisant le contenu sans redonner de valeur au propriétaire du site
- Il y a un an, Cloudflare a lancé l’option en un clic Block AI Bots et la place de marché Pay-Per-Crawl
- Les propriétaires de contenu veulent protéger l’original et être rémunérés, mais un blocage global de toute automatisation répond mal à ces besoins
- Les petits sites peuvent se retrouver à devoir autoriser l’entraînement IA pour gagner en visibilité dans les moteurs, ou à bloquer l’entraînement au prix d’une perte de découvrabilité
- Une structure qui avantage les acteurs de la recherche existants utilisant le même bot pour la recherche et l’entraînement
- Et qui incite les nouveaux entrants voulant réduire l’écart concurrentiel à chercher à échapper à la détection
- Avec l’arrivée de services, comme Google Search, qui fournissent directement des réponses dans la page de résultats, il devient plus important de savoir ce que fait le bot, ce qu’il stocke et ce qu’il redistribue plutôt que de savoir s’il est IA ou non
Classification Search·Agent·Training
- Cloudflare distingue trois cas d’usage centrés sur l’IA que tous les clients peuvent administrer
- Search : collecte ou indexation préalable de contenu pour répondre ensuite à des questions, avec l’attente pour le propriétaire du site d’un trafic recommandé ou d’une compensation équivalente
- Agent : exécution en temps réel de tâches à la place d’une personne, y compris des bots de collecte conversationnelle comme ChatGPT-User et des agents navigateur où Gemini ou Claude pilotent Chrome
- Training : récupération du contenu pour entraîner ou affiner un modèle, les données étant absorbées de façon permanente dans des systèmes basés sur l’IA pour améliorer leurs performances
- Comme un même crawler peut avoir plusieurs objectifs, toutes les catégories applicables sont suivies ensemble
- Pour les acteurs qui font à la fois de l’indexation de recherche, des tâches d’agent et de l’entraînement de modèles, Cloudflare recommande de séparer les crawlers en trois selon l’objectif afin d’indiquer clairement le but de la visite et les droits d’accès
- D’autres comportements automatisés, comme la vérification publicitaire, la collecte de flux ou les transactions par agent, sont aussi classés séparément, mais Search·Agent·Training sont les fonctions que tous les propriétaires de site peuvent gérer directement
Contrôles disponibles sur toutes les offres et nouvelles valeurs par défaut
- Le preset existant Block AI Bots bloquait surtout des bots à usage unique dédiés à l’entraînement des modèles, mais les nouveaux réglages apportent un contrôle par Search·Agent·Training jusqu’à l’offre Free
- À partir du 15 septembre 2026, les valeurs par défaut suivantes s’appliqueront aux pages affichant des publicités des domaines nouvellement enregistrés sur Cloudflare
- Training et Agent seront bloqués par défaut
- Search sera autorisé par défaut
- Comme la publicité est un signal de monétisation conçu pour être vu par des personnes visitant la page, Cloudflare bloque Training et Agent, qui peuvent capter cette attention humaine
- Search est autorisé par défaut car c’est le comportement le plus proche d’un apport de visiteurs vers le site
- Pour les crawlers polyvalents qui font à la fois Search et Training, la règle la plus restrictive prime
- Les clients qui choisissent de bloquer Training bloqueront aussi Googlebot, Applebot et BingBot
- Cette règle s’applique à la fois aux nouvelles options de gestion du trafic IA et au service existant Block AI Bots
- Les clients existants peuvent, avant le 15 septembre, signaler leur refus du changement dans les Security settings afin de conserver la configuration actuelle pour les crawlers Training qui effectuent aussi Search
Visibilité des bots et classification des comportements avec BotBase
- BotBase, ajouté à Enterprise Bot Management, est une base de données consultable du trafic automatisé connu, y compris les bots et agents Verified
- Le tableau de bord Cloudflare permet de voir la liste complète des bots et agents Verified ainsi que les nouvelles catégories
- Il est possible de filtrer le trafic d’un bot précis
- De copier son identifiant de détection pour l’utiliser dans les règles de sécurité
- Et d’accéder à l’écran dédié depuis la Bot Management configuration card
- Dans un premier temps, l’accent est mis sur la visibilité ; plus tard en 2026, Cloudflare prévoit d’étendre BotBase en centre d’administration pour contrôler directement le contenu automatisé connu d’un site
- BotBase attribue une ou plusieurs catégories à un bot selon les actions qu’il peut effectuer sur un site
- Search : crawling destiné à l’affichage dans les résultats de recherche
- Agent : agent visitant les pages selon les instructions d’une personne
- Training : crawling pour l’entraînement ou le fine-tuning de modèles
- Transact : opérations de paiement au nom d’un utilisateur
- Data Collection : collecte de prix, veille concurrentielle, analyses tierces
- Security Testing : scans de vulnérabilités et tests d’intrusion
- SEO : crawling SEO, audit de site, vérifications d’accessibilité
- Ads Verification : vérification des emplacements publicitaires et détection de fraude publicitaire
- Social / Link Preview : aperçus de liens pour plateformes sociales et applications de messagerie
- Feed Fetching : lecteurs RSS, collecteurs de podcasts, bots de flux d’actualités
- Monitoring & Operations : supervision de disponibilité, webhooks, contrôles d’état
Niveaux d’usage du contenu et signal robots.txt
- Cloudflare développe une fonction permettant de gérer, via des niveaux d’usage du contenu (content use), la manière dont les bots stockent et réutilisent le contenu collecté
immediate : interaction uniquement, sans stockage ni réutilisationreference : indexation et citation partielle avec lien vers la source, valeur par défautfull : possibilité de résumer et de reproduire le contenu
- En combinant la classification des bots et le niveau d’usage du contenu, il devient possible de créer des politiques du type « autoriser Search·SEO·Ads Verification, mais seulement jusqu’à
reference »
- L’accès peut être décidé par groupe de comportements, sans écrire de règle pour chaque bot individuel
- Un signal
use étendant Content Signals est testé dans robots.txt
use=immediateuse=referenceuse=full
- La valeur d’usage du contenu dans robots.txt n’applique pas elle-même un blocage direct ; elle transmet la préférence du propriétaire du site
- Pour les clients qui utilisaient
search=yes,ai-train=no dans le robots.txt géré existant, use=reference sera ajouté
User-agent: *
Content-Signal: search=yes,ai-train=no,use=reference
Allow: /
- BotBase suit aussi la manière dont chaque bot utilise le contenu, et un bot qui abuse de ce signal perdra son statut Verified et ne sera plus autorisé
- Les bots qui reproduisent entièrement le contenu ne peuvent actuellement pas obtenir le statut Verified
Le sens changé de Verified
- Par le passé, tous les bots Verified étaient autorisés par défaut, et ce critère était repris dans les modèles de règles de Bot Fight Mode et d’Enterprise Bot Management
- Désormais, les bots non vérifiés restent bloqués par défaut, mais les bots Verified ne sont plus automatiquement autorisés
- Verified signifie qu’un bot peut être autorisé dans les catégories concernées ; l’accès réel dépend ensuite du fait que la catégorie visée, comme Search, soit ou non autorisée
- Pour obtenir le statut Verified, l’opérateur d’un bot doit remplir deux conditions
- Afficher honnêtement son identité
- Et ne pas abuser des droits d’accès obtenus grâce à cette honnêteté
- Cloudflare développe aussi des outils pour les opérateurs de bots afin qu’ils puissent gérer la bonne représentation de leur activité dans sa classification
Confiance transitive à travers les plateformes intermédiaires
- Une automatisation ou un agent n’est pas forcément exploité directement par l’entreprise qui l’a créé ; une même plateforme de développement peut exécuter des requêtes au nom de milliers d’opérateurs, des entreprises jusqu’aux développeurs individuels
- Cloudflare définit comme confiance transitive (transitive trust) la relation reliant propriétaire du site → entreprise propriétaire du bot → utilisateur final
- Il propose d’utiliser l’en-tête
Forwarded de la RFC 7239 pour inclure dans la requête les informations d’opérateur qui disparaissent lors du passage par un proxy
Forwarded: for="openai"
- Le niveau d’usage du contenu peut aussi être transmis en même temps
Forwarded: for="openai";use="reference"
- Si un site autorise un opérateur donné, il peut conserver la même politique pour des requêtes arrivant via plusieurs couches intermédiaires de confiance ; le format détaillé est documenté dans la documentation sur l’authentification des web bots
- Comme plus de 20 % des domaines web sont derrière Cloudflare, la perte du statut de confiance peut constituer un moyen de dissuasion concret pour les opérateurs
- Quand le trafic de bots et le trafic humain sont mélangés, la confiance transitive ne peut s’appliquer qu’aux utilisateurs en mesure de révéler leur identité
- Les petites sources de trafic ont besoin de protection de la vie privée
- Et les entreprises qui veulent respecter des engagements de confidentialité ont besoin de composants alternatifs, comme le private rate limiting
État du déploiement et principes d’exploitation
- Les nouvelles options de trafic IA sont déjà disponibles pour tous les clients existants et peuvent être configurées dans les zone Settings
- Les nouvelles valeurs par défaut et ce système de classification visent à permettre aux propriétaires de site de décider qui utilise leur contenu et comment, tout en donnant davantage d’accès aux opérateurs d’automatisation qui déclarent plus clairement leur objectif
- Les politiques détaillées continueront d’être ajustées en fonction de l’évolution du web et du trafic automatisé, mais le principe consistant à placer au centre le choix et la confiance des créateurs de contenu restera inchangé
1 commentaires
Avis sur Hacker News
Comme Googlebot utilise la même infrastructure de crawl pour l’indexation de recherche et l’entraînement de Gemini, il sera concerné par la politique de « blocage de l’entraînement » de Cloudflare à partir du 15 septembre.
La règle la plus restrictive s’appliquant en priorité, les sites clients qui bloquent l’entraînement bloqueront aussi les crawlers polyvalents comme Googlebot, Applebot ou BingBot.
Empêcher ce type de comportement de la part d’un monopole de la recherche est précisément le rôle du droit de la concurrence ; j’espère donc qu’au moins les régulateurs de l’UE interviendront, et chaque trace de crawl de Googlebot dans les logs d’accès pourrait servir de base à des dommages et intérêts.
Il était frustrant de constater qu’il était difficile, même via la recherche, de trouver la bonne façon de refuser que Google utilise le contenu de cette manière.
Sur les nouveaux domaines, la position de Cloudflare — bloquer par défaut le crawl pour l’entraînement et les agents sur les pages affichant de la publicité tout en autorisant la recherche — donne l’impression fatigante qu’ils jouent sur les deux tableaux de la course aux armements.
Il est difficile de faire confiance à une entreprise qui, d’un côté, fournit des technologies pour créer des agents et des produits d’IA, et de l’autre pousse ce type de politique.
Il est également étonnant de les voir présenter positivement le pouvoir d’accorder ou de retirer un « statut de confiance » en s’appuyant sur plus de 20 % des domaines web.
J’aimerais que l’on envisage d’adopter une preuve de travail (PoW) comme Anubis plutôt que les fonctionnalités de Cloudflare.
Il arrive de plus en plus souvent d’être complètement bloqué sur des sites protégés par Cloudflare, sans même un CAPTCHA ; même si chaque site pris isolément n’est pas crucial, voir ce type de choix éroder les fondations d’Internet est assez sombre.
Si l’accès est totalement bloqué, il est plus probable que ce soit une décision du site visant à bloquer tous les VPN ou les utilisateurs hors de certains pays, plutôt que Cloudflare lui-même.
Il est inquiétant de confier volontairement à une seule entreprise de plus en plus dominante le pouvoir de décider qui peut accéder à un site.
Si l’on bloque par réflexe les « bots » et l’« IA », même les agents IA qui agissent pour le compte des utilisateurs ne pourront plus accéder aux sites ; le postulat de la politique est donc lui aussi erroné.
Je ne sais pas quel résultat Cloudflare et le Web cherchent finalement à obtenir. Il est peu probable qu’Anthropic, DeepMind, OpenAI ou Google paient les coûts de crawl ; ils concluront plus probablement des accords privés avec de grands fournisseurs de discussions comme Reddit.
Les fonctions qui récupèrent de nouvelles informations en contexte continueront d’exister, mais ce n’est pas la même chose que du scraping indiscriminé.
Si Google réussit à répondre directement aux questions en envoyant de moins en moins d’utilisateurs vers les sites d’origine, la valeur économique de publier du contenu sur le Web disparaîtra largement. Dans ce cas, Google finira bloqué techniquement et juridiquement, n’obtiendra plus de contenu, et tout le monde y perdra.
Un monde où tout le monde travaille gratuitement pendant que Google et les moteurs d’IA captent seuls la valeur, ou un monde où la production de contenu s’arrête totalement, ne sont pas durables ; mais il reste possible qu’à terme presque tout le contenu devienne payant.
Cela dit, les micropaiements ont jusqu’ici échoué de manière systématique ; s’il n’existe aucun moyen de réduire suffisamment la friction, l’essentiel du contenu de valeur sera verrouillé, les coûts de découverte et d’accès augmenteront, et toute l’industrie du contenu pourrait se contracter brutalement. S’il ne reste que des paiements par gros blocs, le Web commercial sera peut-être beaucoup plus petit et de meilleure qualité, mais le prix à payer sera considérable.
Au-delà du fait de montrer la voie, ce type de décision devrait impliquer directement l’IETF afin que toutes les parties prenantes puissent être prises en compte ; sinon, Internet risque de se fragmenter.
Les grandes entreprises existantes pourraient même s’en réjouir, car elles peuvent assumer ce coût tout en érigeant une énorme barrière financière pour les nouveaux entrants.
Tant que les clients de Cloudflare en profitent aussi via des services gratuits ou peu coûteux, ils ne se soucieront probablement pas de la manière dont l’entreprise traite les grands acteurs de l’IA.
Je me demande s’il est possible de configurer le système pour autoriser uniquement Google, OpenAI, Grok, Claude et Perplexity et bloquer les autres bots.
À l’heure actuelle, seul Google envoie réellement des visiteurs, mais les autres grands services d’IA pourraient le faire à l’avenir.
Le « blocage des bots anonymes » pourrait aussi être une alternative. Depuis la montée des bots IA, nous subissons de gros dégâts dus à d’énormes volumes de requêtes provenant d’IP résidentielles qui imitent de vrais humains ; ce trafic ne génère aucun revenu et ne fait qu’engendrer des coûts.
Je me demande aussi si Amazon CloudFront propose une fonctionnalité pour aider à cela.
Je suis reconnaissant envers Cloudflare : c’est l’une des rares plateformes qui permet aux sites web de choisir leur relation avec l’IA, et fournit même un moyen de monétiser le trafic IA.
Je me demande s’il y a du nouveau concernant le programme de facturation par crawl.
Après avoir bloqué l’entraînement IA, j’ai constaté que même le bot de recherche Google était bloqué, ce qui a divisé le trafic par deux ; je ne le recommanderais donc pas.
Je me demande si quelqu’un utilise réellement ce genre de fonctionnalité. Je doute que les scrapers paient, et même s’ils le font, je suis sceptique quant au fait qu’ils paient assez pour que cela en vaille la peine.