- Cloudflare a annoncé un nouveau service permettant aux propriétaires de contenu de facturer l’accès aux crawlers d’IA
- Les créateurs de contenu disposent de trois options : autoriser gratuitement, bloquer totalement ou autoriser un accès payant
- La facturation repose sur la réponse standard HTTP 402 Payment Required, Cloudflare fournissant l’infrastructure de paiement et de règlement
- Les crawlers et les propriétaires de contenu garantissent transparence et sécurité via une authentification et un paiement programmatiques
- Le service démarre en bêta privée et devrait ensuite s’étendre à divers cas d’usage ainsi qu’à la tarification dynamique
Évolution de l’environnement de consommation de l’IA
- Jusqu’à présent, de nombreux éditeurs, créateurs de contenu et propriétaires de sites web n’avaient face aux crawlers d’IA qu’un choix binaire : tout autoriser ou tout bloquer
- Cloudflare, en faisant du renforcement du contrôle des propriétaires de contenu un principe central, cherche à créer un environnement où l’on peut soit bloquer tous les crawlers d’IA, soit les autoriser gratuitement, soit encore n’autoriser que certains crawlers de manière sélective
- À travers des échanges avec des centaines d’entreprises médias, de publishers et de grandes plateformes sociales, l’entreprise a confirmé l’existence d’un fort besoin d’autoriser l’accès aux crawlers d’IA tout en étant rémunéré
- Jusqu’ici, il fallait négocier individuellement avec les crawlers avant d’autoriser l’accès, mais cela était en pratique impossible pour les petits sites, faute de taille critique et de pouvoir de négociation
Introduction du modèle « pay per crawl »
- En plus des choix extrêmes que sont le gratuit ou le blocage, Cloudflare propose une troisième option : faire payer l’accès
- Cela permet aux propriétaires de contenu de monétiser leurs actifs numériques à l’échelle d’Internet
- Le socle technique principal repose sur le code d’état presque oublié HTTP 402 Payment Required : si le crawler exprime son intention de payer, le contenu est servi avec un 200 OK ; sinon, une réponse 402 indique le prix
- Cloudflare endosse le rôle de Merchant of Record et prend en charge le traitement des paiements ainsi que l’infrastructure technique
Pouvoir de réglage des éditeurs et politique tarifaire
- L’éditeur peut définir un tarif fixe pour l’ensemble du site
- Autoriser (mise à disposition gratuite)
- Facturer (accès fourni après paiement au prix défini)
- Bloquer (accès impossible et indication d’une éventuelle relation future)
- Prise en charge de politiques flexibles par crawler : exceptions tarifaires, accès gratuit autorisé, négociation individuelle, etc.
- Intégration avec les politiques de sécurité de Cloudflare (WAF, gestion des bots, etc.) ; le pare-feu existant s’applique d’abord, puis la règle pay per crawl entre en action
Protocole d’authentification et de paiement : Web Bot Auth
- Le système est conçu pour que seuls certains crawlers puissent obtenir le droit de payer et d’accéder au contenu, afin d’éviter l’usurpation d’identité des crawlers (spoofing)
- Les crawlers doivent générer une paire de clés Ed25519, enregistrer une clé publique au format JWK dans un répertoire public, puis soumettre les informations à Cloudflare
- L’identité et l’intention de paiement sont prouvées via les en-têtes de signature de message HTTP (
Signature-Agent, Signature-Input, Signature)
Accès au contenu payant
- Deux protocoles sont pris en charge
- Réactif (découverte d’abord) : lorsqu’un crawler demande une URL payante, il reçoit une réponse 402 avec le prix proposé → s’il accepte, il refait la requête avec l’en-tête
crawler-exact-price
- Proactif (intention d’abord) : dès la première requête, le crawler transmet un plafond de paiement via l’en-tête
crawler-max-price → si le montant demandé est inférieur au seuil, il reçoit un 200 OK avec le détail de la facturation
- La négociation du prix et l’expression de l’intention de paiement sont prises en charge de manière programmable
Règlement et traitement financier
- Les opérateurs de crawlers et les propriétaires de contenu doivent enregistrer leurs informations de paiement dans leur compte Cloudflare
- À chaque demande de paiement authentifiée suivie d’une réponse 200 OK, un événement de facturation est enregistré ; Cloudflare agrège ensuite ces événements, facture les crawlers et reverse les montants aux publishers
Le début d’un changement vers l’ère des agents
- Le pay per crawl symbolise une évolution des technologies de contrôle du contenu en ligne
- On en attend une meilleure protection des créateurs ainsi que l’émergence de nouveaux BM (business models) grâce à une évaluation programmable de la valeur des actifs
- À l’avenir, diverses extensions sont envisagées, comme la tarification dynamique selon le type de contenu ou le chemin, une tarification fondée sur le volume de trafic IA, ou encore la gestion de licences à grande échelle
- Avec l’adoption de HTTP 402, il devient possible de se préparer à un futur où les IA et les agents négocieront de façon programmatique les conditions d’accès aux ressources numériques
Guide de démarrage
- La fonctionnalité pay per crawl est d’abord proposée en bêta privée
- Les crawlers et créateurs de contenu intéressés peuvent faire une demande via un lien d’inscription dédié
- Cloudflare prend aussi en charge la protection DDoS, l’accélération de l’accès à Internet, la création d’applications Internet, le blocage des hackers et la mise en œuvre du Zero Trust
Informations complémentaires et tendances associées
- Le mouvement visant à bloquer le crawling gratuit des crawlers, avec notamment le « Content Independence Day », ainsi que l’extension de la solution de gestion des robots de Cloudflare, se poursuivent
- Entre 2024 et 2025, le trafic des crawlers d’IA a augmenté de 18 %, avec des chiffres de croissance de 305 % pour GPTBot et de 96 % pour Googlebot
- Une fonction de renforcement de l’authentification des crawlers via des signatures de messages fondées sur une clé publique a également été introduite
5 commentaires
Traduction : https://rosettalens.com/s/ko/introducing-pay-per-crawl
Comment faire la distinction entre un bot d’IA et un autre type de bot ?
Que ce soit de l’IA ou non, si le crawling est vraiment mené de façon déterminée, on ne peut pas l’arrêter.
Cloudflare cherche à monétiser ça,
au final, tous ceux qui veulent gagner de l’argent vont se regrouper là-bas,
le volume de Cloudflare va augmenter,
et les données vont subir une baisse de qualité.
On a déjà vu la même tendance partout où l’argent entre en jeu, que ce soit chez Naver, Instagram ou YouTube.
Commentaires sur Hacker News
Je pense que c’est la forme de micropaiement que nous voulions. Coinbase a récemment présenté une bibliothèque utilisant la cryptomonnaie et le code d’état 402, c’est x402 : lien GitHub x402
Je pense que le modèle économique du web devrait ressembler à ça plutôt qu’à une intermédiation publicitaire. L’industrie de l’adtech exploite nos données de façon permanente, a pollué les médias, et a aussi nui à la démocratie. J’espère que dans quelques décennies, on réalisera à quel point le modèle publicitaire actuel est nocif, et qu’on réglementera et sanctionnera ces entreprises comme on l’a fait avec Big Tobacco. Le BAT de Brave est aussi une bonne tentative, mais x402 donne l’impression d’être une solution plus universelle. Cela dit, entre l’image négative de la crypto et l’influence très forte de l’industrie publicitaire, ce type d’approche aura du mal à s’imposer
Je ne veux pas utiliser de cryptomonnaie, je ne veux pas être payé en cryptomonnaie pour du contenu, et je ne veux pas non plus verser des frais à des intermédiaires. Utiliser la crypto pour les micropaiements donne en pratique l’impression d’un moyen de faire décoller l’écosystème crypto. En plus, il est difficile d’obtenir un consensus sur la monnaie à utiliser. Si chaque site n’accepte qu’une pièce différente, ou s’il faut imposer une unique stablecoin, cela devient aussi difficile à contrôler. L’approche de Cloudflare est meilleure. Ici, c’est la partie qui cherche à monétiser qui paie, et on ne demande rien aux utilisateurs ordinaires. Et il n’y a pas de crypto
J’espère me tromper, mais j’ai l’impression que la fenêtre d’opportunité pour les micropaiements est déjà passée. Si on avait eu un système du type anciens téléphones à carte prépayée, où l’on « recharge 10 000 wons d’Internet » et où les sites débitent ensuite de minuscules montants, ça aurait peut-être vraiment pris. Mais aujourd’hui, il faut trop d’infrastructure et trop d’accords à l’échelle du marché pour mettre ça en place, donc j’ai l’impression qu’on a laissé passer le moment
Cette technologie me paraît vraiment intéressante. Si j’ai bien compris, je me demande pourquoi le protocole n’a pas été conçu pour répondre immédiatement quand l’adresse et le montant à payer sont transmis. Si les tentatives suivantes restaient bloquées jusqu’au retour d’une somme de contrôle du montant et de l’adresse du portefeuille, qu’un tiers pourrait vérifier, chaque serveur n’aurait pas à implémenter sa propre logique de vérification. Pour construire une vraie économie numérique, il faut deux choses : 1) le contenu doit pouvoir être consommé uniquement par le demandeur, sans copie ni stockage possible, 2) le contenu doit être assorti d’un système de réputation ou de notation attribué par des humains. Le premier point pourrait être résolu par le DRM ou le chiffrement homomorphe, le second par des agences de notation transformées en DAO. Pour devenir évaluateur au sein d’une DAO, on pourrait partager une preuve de performance basée sur la blockchain et immobiliser une cryptomonnaie coûteuse (= licence), afin d’augmenter la confiance. Comme avec un index BitTorrent, on pourrait relier le contenu et les évaluateurs, et supprimer aussi les intermédiaires publicitaires. Si cette structure arrivait à maturité, des personnes réellement compétentes pourraient participer à la création de valeur tout en éliminant les intermédiaires, et l’humain redeviendrait central dans l’économie du contenu. Si l’on résout le problème du double paiement du contenu, chacun pourrait être rémunéré de manière continue tout en développant aussi son expertise hors ligne. Par exemple, quand on cherche un bon livre ou un bon film, on regarde les notes Amazon ou Goodreads, mais aujourd’hui les fournisseurs de ces notes n’ont pas des intérêts à la hauteur de leur rôle. Si ce contenu d’évaluation acquérait une autorité comparable à celle d’une agence de notation, la valeur des œuvres individuelles pourrait elle aussi augmenter. Tout le monde serait alors incité à préserver sa propre réputation
Le concept lui-même n’est pas nouveau. J’ai moi aussi créé en 2018 un projet appelé ln-paywall, qui utilisait le code d’état 402
Je pense que cette approche est complètement à côté de la plaque. Cloudflare dit simplement : « continuez à crawler comme avant, mais maintenant vous devez payer plus », sans apporter de valeur à la hauteur. Le crawling n’est pas un avantage concurrentiel pour les entreprises d’IA ou les nouveaux moteurs de recherche. C’est surtout un centre de coûts et une source de distraction. Il serait plus rationnel qu’elles coopèrent autour d’une infrastructure partagée. Au lieu que chaque entreprise accède séparément aux sites, l’idéal serait qu’un seul crawler visite tous les sites, puis que chaque entreprise définisse ses propres filtres et contribue proportionnellement aux URL qui l’intéressent. Plutôt que plusieurs vagues de trafic, on aurait un crawler unique, et les règles robots.txt seraient appliquées de façon technique et contractuelle ; ainsi, le contenu non souhaité ne serait pas servi, et contourner cela obligerait les acteurs à maintenir leur propre crawler, ce qui représente une charge significative. Même en y ajoutant un paiement, cela reste peu intéressant, car on risque surtout de payer pour une infinité de pages médiocres jamais vues auparavant. Avec cette approche, les entreprises d’IA ou les moteurs de recherche pourraient crawler à moindre coût et plus facilement, tandis que les sites réduiraient fortement leur charge et renforceraient leur capacité de blocage. Mais Cloudflare se contente d’un « payez », ce qui manque vraiment d’imagination et de force de conviction
Je pense que pour voir les bonnes incitations ici, il faut regarder l’autre côté du marché. Le problème pour les producteurs de contenu n’est pas que leur site reçoive du trafic, mais qu’ils ne soient pas correctement rémunérés pour ce trafic. Même si huit entreprises visitaient toutes les pages de mon site dix fois par jour, cela ne poserait aucun problème si je recevais une rémunération au prix du marché. Dans ce cas, ces huit entreprises auraient naturellement intérêt à coopérer pour mutualiser le crawling, puisque le coût ne serait plus externalisé. Cette approche me paraît au contraire plus rationnelle pour tout le monde
Common Crawl était justement censé jouer ce rôle, mais ironiquement, les startups IA se sont mises à exploiter ces données de façon si vorace que la charge est devenue récemment telle qu’il est presque inutilisable. Ce type de problème ouvre un espace de marché pour des services de crawling web à façon, et du point de vue des entreprises, externaliser les crawlers peut avoir de nombreux avantages. Bien sûr, on ne sait pas encore si le besoin est assez fort pour former un véritable marché, mais une chose est claire : il existe une vraie demande pour un accès sérieux aux données du web et pour des capacités de crawling solides
Contrairement à l’idée selon laquelle le crawling web ne serait pas un avantage concurrentiel pour les entreprises d’IA, la capacité à intégrer rapidement des informations récentes ou des sources spécifiques constitue clairement un avantage. Le problème, c’est qu’en récupérant le contenu des sites, elles ne versent aucune compensation à ces sites et ne leur apportent pas non plus de trafic, ce qui détruit l’écosystème du web. Du point de vue des sites en particulier, qu’un bot d’IA lise mes informations sans que cela ne me rapporte quoi que ce soit signifie une valeur de retour nulle
Même si le trafic de crawling rapportait ne serait-ce qu’un peu d’argent, cela suffirait à couvrir les coûts d’infrastructure. Historiquement, les sites tombaient rarement uniquement à cause d’un trafic massif. Aujourd’hui, soit 1) de plus en plus de sites bloquent directement les bots, scrapers, etc., soit 2) ceux qui n’y arrivent pas (parce que le contrôle d’accès est difficile ou qu’ils n’ont pas de modèle de revenus) se font bombarder. Si, dans une telle structure, les sites recevaient réellement de l’argent, cela couvrirait au moins la charge causée par le trafic excessif des bots, voire davantage
Je pense quand même qu’une telle structure de coûts pourrait agir comme une incitation directe à la coopération
Au final, c’est aussi pour cela que Google gardera probablement son avantage dans l’IA. La plupart des gens veulent que Googlebot crawl leur site. Cela apporte du trafic, et Google utilise ensuite cet index aussi pour l’entraînement de l’IA. Cela peut être monopolistique, mais j’y vois un bénéfice mutuel. En revanche, pour des entreprises comme OpenAI, Anthropic ou Meta, qui viennent crawler sans offrir la moindre compensation, je pense que très peu de gens souhaitent voir leur site exploré. C’est pourquoi cette politique de Cloudflare me paraît tomber à point nommé. Si elle réussit, ce sera aussi une énorme opportunité pour Cloudflare
Le taux de clics chute fortement à cause des « AI Overview » de Google. Avant, quand Google crawlait 2 pages, cela apportait 1 visiteur ; il y a 6 mois, on était à 6:1, et aujourd’hui à 18:1. Ce qui a changé, ce sont les AI Overviews. OpenAI, c’est encore pire : on est passé de 250:1 il y a 6 mois à 1 500:1 aujourd’hui, l’IA captant quasiment tout le trafic qui allait auparavant vers les liens sources. (Référence Twitter : https://twitter.com/ethanhays/status/1938651733976310151)
Je suis dans une startup, donc au contraire je veux que mon site soit crawlé par les IA. Quand les gens demandent à ChatGPT « qu’est-ce que $CompanyName ? », je veux que les points forts de notre entreprise et notre message clé soient correctement reflétés. Le contenu SEO traditionnel peut aussi être utilisé comme données d’entraînement pour l’IA. Quand on demande à un outil d’IA de résumer les avantages et inconvénients du web, il arrive souvent que la source soit un article de type liste, comme « top 10 tools for X », publié directement sur le blog d’une entreprise. C’est pareil pour de grandes organisations comme les offices de tourisme, ou pour toute structure qui veut diffuser son point de vue de manière convaincante à l’échelle mondiale
Il a été dit qu’OpenAI, Anthropic et Meta crawlent du contenu rédigé par des humains sans aucune compensation, mais en réalité, pour des organismes publics ou de grandes entreprises, le fait d’être crawlé peut parfois être un avantage. Par exemple, si une IA mondiale répond à la question « comment voir des kangourous ? » en recommandant un zoo néo-zélandais plutôt que l’Australie, cela pose problème. Il est essentiel que les bonnes informations soient intégrées dans les modèles d’IA pour pouvoir influencer un public très large
Google a aussi des projets comme Google Books, ce qui fait que les autres entreprises occidentales ont plus de mal à réunir des corpus d’entraînement d’une telle ampleur, tandis que les entreprises chinoises se soucient beaucoup moins du droit d’auteur ; cela crée une différence importante
Je ne pense pas nécessairement que Google soit en position de force dans l’IA. Du point de vue des consommateurs, les AI Overview de Google se trompent très souvent. Techniquement, Google peut proposer d’excellentes API, une bonne qualité et de bonnes fonctionnalités, mais l’expérience IA principale visible par l’utilisateur lambda n’est pas terrible
La technologie elle-même est cool, mais je n’aime pas le fait que tous les crawlers doivent passer uniquement par Cloudflare. Il me semble que les développeurs de Google Chrome avaient proposé un jour une Web Monetization API ; avec une structure de paiement décentralisée, on n’aurait pas à dépendre d’une entreprise en particulier
C’est une bonne direction, mais il reste beaucoup d’insuffisances. La structure idéale serait de pratiquer une tarification différenciée selon l’usage. Par exemple, crawler un site « à des fins de recherche » devrait être presque gratuit. En revanche, « pour entraîner une IA destinée à être commercialisée », cela devrait coûter très cher. C’est regrettable d’en être arrivé à réfléchir ainsi, mais aujourd’hui l’ancien modèle est pratiquement devenu impossible, au point qu’une ouverture totalement gratuite et sans contrepartie n’est plus réaliste. En vérité, si quelqu’un créait une bibliothèque mondiale où toutes les informations seraient fournies gratuitement, avec en parallèle un système de compensation de la propriété intellectuelle, ce serait un immense bénéfice pour l’humanité. Nous vivons à une époque où la plupart des limites techniques ont déjà été levées, et pourtant seules persistent des restrictions de fait presque « cartelisées ». Donc pour l’instant, on en revient malgré tout à « dans ce cas, payez au moins »
Dans ce genre de système, ceux qui cherchent le profit finissent toujours par trouver et exploiter toutes sortes de failles, ou par revendre les données d’une manière non prévue, voire par infiltrer le système. Par exemple, même si l’on dit « gratuit pour la recherche », quelqu’un peut simplement affirmer « je viens pour faire de la recherche ! » tout en revendant en réalité les données à ses filiales pour en tirer un bénéfice
Même si cette idée d’une « bibliothèque où toutes les données sont librement partagées » semble techniquement possible, le vrai problème est la viabilité économique. Si le coût d’accès devient trop bas, on favorise au contraire la copie infinie et les abus excessifs, jusqu’à faire s’effondrer le système. À l’inverse, un certain niveau de rareté crée des incitations plus favorables à la coopération et à l’amélioration de la qualité. (Comme les stratégies r/K en biologie.) Quand il existe des limites, la valeur par unité augmente, ce qui peut favoriser le développement d’informations et de services de meilleure qualité. Au fond, les bibliothèques publiques hors ligne étaient peut-être assez proches de ce point d’équilibre optimal
J’ai l’impression que HN sous-estime ce sujet, alors que c’est un changement énorme. 20 % du web entier est derrière Cloudflare. Si cette fonctionnalité est proposée à tous les clients, y compris aux blogueurs gratuits, cela crée une structure intéressante où même un blogueur peut être payé
Je crains qu’on finisse bientôt avec un système où l’on doit effectuer un micropaiement à chaque utilisation du navigateur, et que l’Internet disparaisse tel qu’on le connaît
Je perds déjà énormément de temps à cause de la détection de bots de Cloudflare. J’utilise Chrome + uBlock, et je m’attends bientôt à voir aussi des écrans me demandant de payer. Quand un CAPTCHA apparaît, je quitte simplement le site et je vais ailleurs
En réalité, cela pourrait quand même être préférable à subir des dizaines de publicités et de paywalls
Il faut aussi penser aux cas où des crawlers IA servent d’outils d’assistance à la navigation web pour les personnes handicapées. Les fonctions d’automatisation d’interface se heurtent déjà à toutes sortes de obstacles dans les procédures de vérification
Les exploitants de sites peuvent autoriser ce type de crawler. Le problème des acteurs malveillants qui se font passer pour bienveillants existe déjà aujourd’hui, par exemple lorsqu’on veut autoriser le crawler web de Google tout en bloquant l’entraînement de Gemini ; il faut donc une solution technique à ce sujet
Je ne vois pas bien ce que signifie exactement l’idée qu’un utilisateur individuel puisse « explorer » le web avec un crawler. Un navigateur IA n’est pas immédiatement un crawler. Un crawler est un outil destiné à collecter massivement l’ensemble d’un site web
Il existe déjà une technologie standard d’accessibilité appelée ARIA, et les principaux sites la prennent tous en charge. Pour l’accessibilité, l’IA ne devrait même pas être nécessaire, et ne devrait pas non plus être utilisée
Avant, je pensais qu’une entreprise qui apportait une recherche utile sur Internet était une « bonne entreprise ». Et aujourd’hui, Cloudflare me semble aussi faire de « bonnes choses » avec la protection DDoS, le CDN, la protection contre l’IA, etc. Mais il est possible qu’on finisse aussi par la détester plus tard
Cloudflare n’est pas encore une entreprise détestée de tous, mais plus son influence grandit, plus la tension monte. Bluesky a dit « the company is tomorrow's adversary », et Cloudflare est elle aussi en train de devenir un adversaire puissant
Mes amis dans la vraie vie détestent déjà Cloudflare
On dit que Cloudflare « fait de bonnes choses » pour Internet, mais à cause de la friction de vérification qu’elle impose, j’utilise désormais plus souvent un LLM qu’un site comme Stack Exchange
Dans l’ensemble, je suis d’accord avec l’idée, mais les grandes entreprises trouveront des voies de contournement pour accéder aux données (en particulier Google, qui pourra invoquer son moteur de recherche pour crawler gratuitement), et si cela fonctionne réellement, le coût sera probablement reporté sur nous, les utilisateurs finaux
Même si Google crawlait gratuitement les données au nom de la recherche, je me demande ce qu’il se passerait si, dans une deuxième étape, Google devait payer un tarif page par page. On pourrait définir, pour chaque article, des sections inaccessibles au crawler selon différents niveaux tarifaires ; par exemple, les grandes actualités pourraient exiger un tarif élevé, tandis que les informations générales, l’entraînement des LLM ou la recherche interne seraient proposés avec des licences distinctes, chacune assortie d’un prix indiqué. Si Cloudflare joue le rôle de hub intermédiaire pour des millions de sites, c’est une structure tout à fait envisageable
Davantage d’éditeurs vont aussi bloquer Googlebot. La raison, c’est que Google retire déjà des revenus aux éditeurs avec ses réponses de recherche générées par IA