Ce qui est arrivé à TheNumbers.com

• The Numbers, qui fournissait des données sur plus de 78 000 films, a brusquement été interrompu le 5 mars 2026 ; en raison d’un trafic automatisé massif et d’explorations de sécurité visant un système vieux de 30 ans, l’ancien site a été abandonné et seules des fonctionnalités minimales ont été rétablies.
• Les humains ne représentaient qu’environ 10 % du trafic total ; à partir de décembre 2025, la collecte pilotée par prompts et le trafic d’IA agentique ont fortement augmenté, au point que l’équipe consacrait environ 90 % de son temps de travail à maintenir l’ancien site.
• Les journaux ont révélé non seulement une collecte normale, mais aussi des recherches de backdoors qui semblaient viser un accès anticipé aux données ou leur manipulation ; la cause exacte de la panne et l’identité des attaquants n’ont toutefois pas été confirmées.
• Les données de The Numbers servant de référence pour trancher les marchés de prédiction de Polymarket sur le box-office, l’accès aux données avant publication pouvait donner un avantage de trading ; les outils d’IA permettent en outre d’explorer à faible coût les failles de sites anciens.
• Les crawlers IA provoquent des coûts et des pannes considérables sans renvoyer de lecteurs, ce qui casse la relation d’échange du web ouvert ; les archives, sites d’actualité, forums et sites de référence indépendants, qui reposent sur du vieux code et de petites équipes, sont particulièrement vulnérables.

---

La semaine où la base de données de l’industrie du cinéma a disparu

• The Numbers est un site de données cinématographiques qui enquête directement sur les recettes au box-office, les budgets de production, la vidéo domestique et les données de streaming, avec plus de 8 millions de visiteurs par an.
  • Journalistes, universitaires, producteurs de films, marchés de prédiction et Guinness World Records l’utilisent comme source de référence.
  • Début 2026, sa base de données contenait 78 396 films, 178 375 enregistrements de sorties en salles et 236 176 personnes.
• Le site a été interrompu le 5 mars 2026 et n’est pas revenu pendant plus d’une semaine ; il a été rétabli le 13 mars sur une nouvelle infrastructure, dans une version réduite.
  • Les anciens classements, les pages par film et le Report Builder ont disparu, ne laissant que des fonctionnalités minimales centrées sur les chiffres récents du box-office.
  • Faute d’explications précises, seul un message de reconstruction s’affichant, les utilisateurs se sont indignés, certains soupçonnant même une réduction volontaire des fonctionnalités pour pousser vers des offres payantes.

Un système vieux de 30 ans lancé en 1997

• Bruce Nash, mathématicien et ancien développeur logiciel chez IBM, a lancé le 17 octobre 1997 un site Geocities suivant 300 films.
  • Tout a commencé avec une base de données Access générant du HTML publié sur Geocities, et avec l’annonce, sur le forum Hollywood Stock Exchange, d’analyses de box-office destinées au trading d’actions de films.
  • Le billet rétrospectif des 20 ans n’existe plus aujourd’hui que sous forme de copie archivée par Internet Archive.
• Étendu pendant des décennies, l’ancien site servait environ 2 millions de pages à partir d’environ 160 000 fichiers source.

Deux vagues de trafic causées par les crawlers IA

• Pendant les 25 premières années, les principaux visiteurs étaient des humains, des moteurs de recherche relativement respectueux des règles et des collecteurs pour projets personnels ; les collecteurs excessifs pouvaient être identifiés et bloqués.
• Le premier changement a commencé vers 2024, lorsque les crawlers destinés à l’entraînement de l’IA ont rejoint ceux des moteurs de recherche.
  • Les crawlers IA ont tendance à moins respecter les règles que les moteurs de recherche, ce qui a accru le travail d’administration nécessaire pour maintenir le site stable.
  • En 2024, le trafic automatisé a dépassé le trafic humain sur l’ensemble du web ; plus tard, selon les chiffres de Cloudflare, les bots ont atteint 57,5 % des requêtes de pages web.
• La deuxième vague a commencé vers décembre 2025, avec des agents IA collectant des sites en réponse à des prompts et des agents créés directement par les utilisateurs, ce qui a encore augmenté le trafic.
  • Environ 10 % seulement des visites de The Numbers correspondaient à une navigation humaine directe ; le reste venait de bots IA et de trafic automatisé.
  • De décembre à début mars, l’équipe a consacré environ 90 % de son temps de travail à maintenir l’ancien site, développant le nouveau système sur le temps restant.

Une réponse qui orientait les crawlers vers une licence

• L’équipe a ajouté au site des indications lisibles par les LLM afin de les pousser à répondre par des informations sur l’achat d’une licence plutôt que par une collecte directe des données.
  • Par la suite, les demandes de licence de données ont été multipliées par environ dix.
• Les mesures d’atténuation du trafic ont été efficaces, mais elles n’ont pas résolu la charge structurelle consistant à continuer d’exploiter le service tout en défendant du code vieux de 30 ans et 160 000 fichiers.

Arrêt du serveur et traces d’exploration de sécurité

• Le serveur s’est effondré à l’aube du 5 mars, et l’équipe a d’abord soupçonné uniquement la charge due au trafic IA.
• Les journaux ont révélé, à côté d’accès via des URL normales, des tentatives de recherche de backdoors.
  • Quelqu’un a peut-être tenté d’accéder aux données avant leur publication ou de manipuler les données fournies aux utilisateurs.
  • Il y avait eu pendant des mois une collecte et une exploration automatisées, mais ce qui a provoqué la panne finale et qui l’a déclenchée n’ont pas été confirmés.
• Sur les conseils d’experts en cybersécurité, l’ancien serveur n’a pas été rallumé.
  • Restaurer une sauvegarde aurait à nouveau exposé 160 000 fichiers legacy à des attaquants qui en exploraient déjà les failles depuis longtemps.
  • L’équipe a estimé que l’ancien serveur pouvait retomber en panne quelques minutes après son redémarrage et a donc construit une version minimale sur une nouvelle infrastructure.

La valeur financière que les marchés de prédiction donnent aux données cinéma

• Polymarket exploite des marchés sur les performances des films lors de leur week-end de sortie et désigne le Daily Box Office Performance de The Numbers comme critère de règlement du marché.
• Chaque marché de week-end représente généralement des dizaines à des centaines de milliers de dollars, et plusieurs millions de dollars peuvent être engagés simultanément sur l’ensemble des marchés de box-office.
• Pouvoir voir les données de The Numbers avant leur publication permettrait de connaître les résultats avant les autres traders chaque semaine et de prendre position en avance.
• Les marchés de prédiction peuvent transformer presque n’importe quelle donnée en valeur financière ; les outils d’IA bon marché abaissent la barrière technique à l’intrusion dans les sites, tandis que les bots agentiques à grande échelle accroissent la vulnérabilité des infrastructures web existantes.

L’IA abaisse la barrière d’entrée des cyberattaques

• En novembre 2025, Anthropic a révélé la première campagne de cyberespionnage documentée orchestrée par l’IA.
  • Une organisation soutenue par un État a attaqué environ 30 institutions, l’IA réalisant 80 à 90 % du travail.
  • Les humains n’intervenaient qu’à 4 à 6 points de décision par campagne.
  • La barrière à l’entrée des cyberattaques sophistiquées a fortement baissé et devrait continuer à baisser.
• Selon un rapport de menace antérieur d’Anthropic, même des criminels peu techniques utilisent l’IA pour réaliser des tâches complexes, comme le développement de ransomware, qui exigeaient auparavant des années d’entraînement.
• L’outil autonome de test d’intrusion par IA XBOW s’est hissé à la première place du classement américain de HackerOne en soumettant environ 1 060 vulnérabilités.
• Un site vieux de 30 ans, où la présence de vulnérabilités connues est probable, constitue une surface d’attaque adaptée à l’exploration à bas coût par des outils d’IA ; la barrière d’expertise qui protégeait autrefois les petits sites s’est fortement affaiblie.

The Numbers se lance dans une reconstruction complète

• Le site public a été interrompu, mais les principales sources de revenus de The Numbers n’ont pas été affectées, si bien que l’activité elle-même a pu continuer.
  • Le site gratuit dépendait peu de la publicité ces dernières années.
  • Les principales activités sont OpusData, qui vend des données en masse, les rapports d’analyse comparative pour producteurs et investisseurs, et le Business Report.
• Comme il faut reconstruire de zéro un site capable de fournir 78 396 films, 178 375 enregistrements de sorties et 236 176 personnes, toutes les fonctionnalités ne peuvent pas être restaurées d’un coup.
• L’équipe distingue six catégories d’utilisateurs auxquelles un site web public doit faire face en 2026.
  • Humains
  • Moteurs de recherche
  • Travaux d’entraînement de LLM
  • Trafic IA piloté par prompts
  • IA agentique
  • Traders de marchés de prédiction
• Là où il suffisait autrefois de se concentrer sur trois éléments — contenu, publicité et SEO — chaque décision de conception doit désormais prendre en compte environ 8 à 10 facteurs.
• Le nouveau site vise à prendre en charge les six types d’utilisateurs, à ajouter les fonctionnalités du service OpusData et des abonnés au Business Report, et à rendre aux utilisateurs ordinaires les anciennes données sous une forme améliorée.

Coûts du crawling et visiteurs qui ne reviennent pas

• Selon les statistiques par plateforme de Cloudflare, l’ampleur du crawling accepté par un site pour obtenir un visiteur référent variait fortement.
  • Google collecte environ 5 pages par visiteur.
  • OpenAI collecte plus de 1 000 pages.
  • Anthropic collecte plus de 38 000 pages.
• La relation d’échange du web ouvert, dans laquelle les moteurs de recherche lisaient le contenu en échange de l’envoi de lecteurs, ne fonctionne pas avec les crawlers IA.
• La collecte massive augmente les coûts de bande passante des petits sites et peut interrompre l’ensemble du service.

Les dommages causés à d’autres sites par la collecte massive

• Chez Read the Docs, un crawler a téléchargé 73 To de HTML compressé en un mois, générant plus de 5 000 dollars de coûts de bande passante.
• iFixit a enregistré un million de requêtes en une journée de la part d’un crawler Anthropic.
• Triplegangers, vendeur de scans 3D de sept employés, a été interrompu pendant les heures ouvrées par un bot d’OpenAI ; son CEO a estimé qu’il s’agissait de fait d’une attaque DDoS.
• L’opérateur de SourceHut consacre chaque semaine 20 à 100 % de son temps de travail à gérer les crawlers IA et subit des dizaines de courtes pannes hebdomadaires.
• Le site d’actualité Linux LWN considère le trafic de crawlers provenant de millions d’adresses IP comme une attaque par déni de service distribué.
• Environ 97 % du trafic mesuré par le projet open source GNOME provenait de bots.
• Une bibliothèque universitaire a bloqué 16 000 adresses IP en 48 heures pour maintenir son service de catalogue.

Les coûts et la baisse de lectorat subis par Wikipedia

• En avril 2025, la Wikimedia Foundation a estimé que les bots représentaient environ 35 % des pages vues sur Wikipedia, mais au moins 65 % du trafic le plus coûteux à traiter.
  • Les crawlers récupèrent massivement des pages que les humains lisent très peu, ce qui augmente leur part dans les coûts.
• Six mois plus tard, les pages vues humaines sur Wikipedia avaient diminué d’environ 8 % sur un an.
  • Les utilisateurs obtiennent de plus en plus leurs connaissances via des résumés d’IA sans visiter directement Wikipedia.
  • Les systèmes d’IA prélèvent du contenu à grande échelle tout en réduisant aussi le lectorat que les sites d’origine auraient reçu.

Les postulats de l’ancien Internet se sont effondrés

• Les outils d’IA sont puissants mais destructeurs, et ils sont testés en temps réel par le grand public dans des environnements réels.
• L’ancien web ouvert reposait sur les hypothèses suivantes, qui ne correspondent plus toutes à la situation actuelle.
  • La plupart des visiteurs sont des humains.
  • Le trafic est globalement proportionnel au nombre de lecteurs.
  • Le coût de fourniture d’un site est lié à la valeur qu’en retire son opérateur.
• Indépendamment de la question de nier ou non l’utilité de l’IA, le web actuel n’est pas préparé à la puissance et à l’échelle de modèles d’IA accessibles à tous.

Expériences de tarification du crawling et de blocage par défaut

• Cloudflare a lancé le pay-per-crawl, qui permet aux sites de facturer les crawlers IA à la page.
• L’entreprise a ensuite annoncé un modèle pay-per-use, dans lequel les éditeurs sont rémunérés lorsque leur contenu est effectivement utilisé dans une réponse d’IA.
• À partir du 15 septembre, les pages financées par la publicité des clients Cloudflare bloqueront par défaut les crawlers mixed-use qui ne paient pas.
• Le succès ou l’échec de ces politiques dépendra de la participation des entreprises d’IA au système de facturation, plutôt que de leur contournement technique.

Un avertissement pour l’ensemble des sites indépendants

• The Numbers a perdu tout son site entre trafic machine excessif et possible intrusion, mais le site public n’étant pas toute son activité, il a pu survivre.
• L’entreprise textile allemande ZEGO, active depuis 37 ans, a demandé son placement en faillite après une cyberattaque en mars qui a interrompu sa production pendant six semaines.
• Les archives indépendantes, bases de données de passionnés, médias locaux, forums et sites de référence préservent un savoir collectif accumulé tout en dépendant de vieux codes et de petites équipes, voire d’opérateurs individuels.
• The Numbers est en cours de restauration sur de meilleures bases, et continuer à utiliser et soutenir les petits sites conçus pour l’ancien Internet est directement lié à leur survie.

[GN⁺]

Réactions sur Hacker News

• Question sérieuse : est-ce qu’un marché prédictif ne pourrait pas devenir une nouvelle source de revenus pour TheNumbers.com ? Certains attaquants cherchaient peut-être à obtenir les chiffres avant leur publication pour parier sur un marché prédictif avec une information certaine
  C’est clairement du délit d’initié et donc très contraire à l’éthique, mais le CEO de PolyMarket a déjà déclaré que le délit d’initié faisait en quelque sorte partie de l’esprit du service : https://youtu.be/ZN4njIQcSR4?si=ztyTtgjeHSJbNjSZ&t=1566

• Le point clé n’est pas seulement que des agents martèlent le site, mais qu’il existe des vulnérabilités potentielles exploitables. C’est aussi pour cela que le site a été coupé puis remis en ligne avec beaucoup moins de données et un design fortement réduit
  Si un utilisateur malveillant accède aux données de The Numbers avant leur publication, il peut connaître la réponse avant les autres traders chaque semaine et faire du front-running

  • Si des traders de marchés prédictifs ont tenté de faire du front-running sur les résultats, c’est au marché prédictif de l’empêcher, par exemple en prévoyant un délai tampon de suspension des échanges avant la clôture du marché

• En voyant les spéculations sur Reddit selon lesquelles il s’agissait d’un sabotage volontaire d’un site gratuit pour pousser les utilisateurs vers un produit payant, je me demande si les ressources gratuites vont continuer à disparaître
  Avant, je publiais de petits outils en open source en espérant que quelqu’un les utilise pour résoudre un problème similaire, mais aujourd’hui j’hésite à contribuer au web gratuit parce que tout est aspiré pour devenir des données d’entraînement puis monétisé plus tard. On comprend que les exploitants de sites gratuits soient en colère

  • La monétisation de sites aspirés sans autorisation existait déjà avant la vogue des grands modèles de langage ; ce qui a changé, c’est l’échelle
    On ne se limite plus à une utilisation déplaisante du travail d’autrui : cela augmente aussi les coûts et le temps de maintenance, avec un préjudice réel à la clé
  • J’ai récemment rendu privé un projet open source avec 200 étoiles GitHub. Je n’avais aucun problème avec le fait que d’autres projets s’appuient dessus en citant la source, mais les grands modèles de langage absorbent tout, le retraitent, puis le présentent comme si c’était le leur
  • Si les gens vont de toute façon payer ailleurs pour accéder à ces données, pourquoi les fournir gratuitement ? L’usage inconsidéré de l’IA risque de faire basculer l’ensemble d’Internet dans une cupidité extrême, un peu comme Google a tué les petits sites en profitant du fait que les gens ne vont pas à la deuxième page des résultats
  • Je publie autant que possible en open source parce que j’espère que les modèles s’amélioreront en s’entraînant sur mon logiciel
  • La prochaine AGPL, voire peut-être la GPL tout court, précisera sans doute l’interdiction d’entraîner des modèles fermés à partir de documents sources. Idéalement, il faudrait aussi interdire les modèles à poids publics s’ils ne partagent pas l’intégralité du processus d’entraînement

• Il y a quelques années, pendant le Covid-19, j’exploitais un site permettant de consulter les aides publiques américaines aux petites entreprises et les prêts frauduleux poursuivis par le DOJ. Environ 10 Go de données publiques pouvaient être téléchargés gratuitement, et les dons ont atteint à peine 2 000 dollars au total
  Mais au lieu de prendre le lien de téléchargement complet sur la page d’accueil, les crawlers IA parcouraient toutes les combinaisons de critères de recherche et récupéraient des dizaines de téraoctets de HTML. Malgré le cache CloudFront et un backend efficace, les seuls frais réseau sont montés à environ 1 000 dollars par mois, et j’ai fermé le site le mois suivant

  • Avec les datasets publics de BigQuery, même si les utilisateurs exécutent des requêtes SQL complexes, le coût leur revient, et le fournisseur n’a plus qu’à payer le stockage
  • Les serveurs dédiés Hetzner ont du trafic entrant et sortant illimité, et on peut obtenir du matériel performant pour environ 40 dollars par mois via les enchères de serveurs
    En revanche, si on manque un paiement, le serveur peut être supprimé en une semaine environ, donc il ne faut surtout pas être en retard
  • Ce n’étaient peut-être pas des crawlers IA, mais des attaquants DDoS qui cherchent à façonner l’opinion pour vendre des services de sécurité et renforcer le monopole des navigateurs existants
  • Une infrastructure bâtie sur AWS est une bombe à retardement financière
  • Je me demande pourquoi les crawlers IA ont provoqué une charge plus forte que les crawlers traditionnels comme ceux des moteurs de recherche. J’aimerais savoir s’ils exploraient plus en profondeur ou revenaient plus souvent

• Ne faudrait-il pas des patterns techniques open source et des bibliothèques pour s’adapter à cette nouvelle composition du trafic ? Des millions de petits sites et de créateurs n’ont pas les moyens de se défendre eux-mêmes contre l’accès automatisé à grande échelle, et plus un contenu est utile, plus il attire un crawling agressif, ce qui augmente les coûts d’exploitation et l’instabilité
  Il faut des outils communautaires de gestion comprenant l’identification des agents, la limitation de débit, la classification du trafic, les politiques d’accès, le cache, les procédures de vérification, la journalisation, la vérification de provenance et le contrôle d’usage. Au lieu que chaque exploitant réinvente cela seul, il faudrait des règles communes solides adaptées au trafic automatisé d’aujourd’hui

  • Il faut une réponse coordonnée contre les botnets. Les bons bots qui s’identifient et respectent les règles sont faciles à bloquer, mais les bots malveillants qui se comportent comme de vrais utilisateurs et se cachent derrière des proxys résidentiels sont presque impossibles à arrêter
    Certaines entreprises vendent même publiquement l’accès proxy à des smart TV et téléphones infectés ; ne pourrait-on pas créer une base de données de ces IP pour les bloquer ? En affichant un message de blocage, on pourrait inciter les gens à vérifier les appareils infectés chez eux, avec une chance de traiter le problème à la racine : https://news.ycombinator.com/item?id=49000864
  • La solution communautaire était le respect de robots.txt, mais comme ce n’est pas une obligation légale et seulement un accord de courtoisie, les crawlers IA l’ont ignoré
    On en revient donc aux moyens classiques de contrôle des pics de trafic. Les outils proposés servent depuis des décennies à contrer l’effet Slashdot, les DDoS et le crawling excessif des moteurs de recherche, et des entreprises comme Cloudflare dominent déjà ce domaine
  • Je ne pense pas qu’il existe de solution technocratique à ce problème. Des gens riches DDoS Internet avec leur argent sans raison particulière ; il faut donc retrouver les responsables et leur infliger des amendes ou de la prison. On pourrait commencer par les fournisseurs de proxys résidentiels

• Les entreprises d’IA socialisent vraiment les coûts et privatisent les profits. Des sites comme The Numbers assument le coût de la résistance à l’offensive de l’IA sans rien recevoir en retour

  • Cela dit, après avoir ajouté sur le site des indications destinées aux grands modèles de langage, les demandes de licence ont été multipliées par 10. L’article ne dit pas si cela a débouché sur de vrais paiements contractuels
    Si les crawlers avaient payé une licence pour des données complètes et de qualité, il n’y aurait pas eu de problème, mais le point central est qu’ils ont commencé à chercher des vulnérabilités pour accéder à des données avant leur publication
  • Non seulement il n’y a aucun retour, mais cela ajoute même des coûts

• La partie publique gratuite semble être un site idéal à reconstruire avec un générateur de site statique combiné à un CDN avec détection des bots. Il semblerait alors possible de l’exploiter longtemps à un coût raisonnable
  Je suis aussi curieux de connaître l’ancienne et la nouvelle architecture, ainsi que les stratégies d’atténuation et de montée en charge adoptées pour maintenir le site

  • Ce problème était déjà résolu il y a 20 ans avec Varnish Cache et Coral CDN. Les bots ne font que révéler à quel point les serveurs web modernes sont devenus inefficaces
    Même les sites PHP bricolés des années 2000 traitaient environ 200 requêtes par seconde, les sites statiques plus de 1 000, et Node.js mettait en avant 100 000 requêtes par seconde grâce au threading coopératif. À l’inverse, les sites actuels exécutent des centaines ou des milliers de requêtes en base de données à cause des ORM et du problème N+1, avec des réponses qui prennent plus de 500 ms et une charge déjà sensible dès 1 000 utilisateurs simultanés
    Le cache de poupées russes, indépendant du langage et de la base de données, ainsi que l’invalidation précise du cache pour les données dépendantes, ne se sont jamais généralisés. J’ai même essayé l’événement touch de Laravel et le cache de requêtes Redis, mais l’invalidation de cache reste en pratique un problème non résolu, et il faut éviter de l’implémenter soi-même en pensant dès le départ à des stratégies comme les packages et le sharding
    Le web aurait dû devenir un stockage P2P adressé par le contenu, où l’on récupère le contenu auprès du pair le plus proche comme avec BitTorrent, mais HTTPS/SSL et le modèle de sécurité des navigateurs ont été des obstacles. Il pourrait même falloir des réseaux de confiance ou des preuves à divulgation nulle de connaissance, donc pour le moment nous semblons condamnés aux banals écrans de vérification humaine
  • Avec une approche reposant presque uniquement sur des publications statiques, on peut construire un excellent modèle de sécurité, et de toute façon le moment d’une réécriture semblait venu. Avec l’aide des grands modèles de langage, cela peut désormais n’être qu’un travail de week-end

• En 2015, j’ai lancé Applaudience, qui fournissait alors les seules données de vente de billets de cinéma en temps réel, et pendant le recalage je comparais souvent avec les chiffres de TheNumbers.com
  Je fais autre chose aujourd’hui, mais cela reste la technologie que j’ai construite moi-même que je préfère, donc j’aimerais la relancer un jour

• On peut bloquer les crawlers des grandes entreprises d’IA dans robots.txt en définissant Disallow: / pour ClaudeBot, Claude-SearchBot, Claude-User, GPTBot, OAI-SearchBot, PerplexityBot, Google-Extended, Google-Extended-Factual, Bingbot

  • Cela ne fonctionne qu’avec les crawlers qui respectent les règles. Les bots qui utilisent des appareils grand public comme des smart TV ou des applications mobiles, et qui vont parfois jusqu’à rémunérer les utilisateurs en échange de leur connexion Internet, ne s’y conforment pas. Ils pourraient même mobiliser des appareils compromis comme des brosses à dents piratées : https://news.ycombinator.com/item?id=49000864
  • C’est utile, mais cela revient presque à une approche tout autoriser ou tout bloquer. Ce serait bien si Google prenait en charge crawl-delay pour permettre un ajustement selon la capacité du serveur, mais ce n’est pas le cas : https://developers.google.com/crawling/docs/robots-txt/robots-txt-spec#syntax
    En cas de blocage, le trafic issu de la recherche risque aussi de diminuer davantage
  • ClaudeBot avait au moins jusqu’au mois dernier un bug qui supprimait le slash final des URL de répertoire. Même quand les liens contenaient bien le slash, il envoyait une requête sans celui-ci, recevait la redirection de Caddy, puis redemandait l’URL correcte
    Résultat, la plupart des URL de sous-répertoires recevaient une requête inutile supplémentaire
  • Parmi le trafic bot sur le réseau de sites que j’exploite, 90 % provient de Chrome headless via des bots résidentiels, ce qui est pratiquement impossible à bloquer. Même Google n’y parvient pas, et cela gonfle jusqu’aux chiffres d’AdSense
  • C’est une défense du niveau de mettre un autocollant « ne pas manger » sur une boîte à déjeuner en espérant que je ne la mange pas

• J’exploite un petit site qui archive d’anciennes émissions de radio en russe, http://radar.lv ; autrefois, 5 % du trafic venait des États-Unis, mais récemment 90 % vient de là-bas
  Heureusement, je peux encaisser jusqu’à 1 To par mois, et je ne suis pas opposé au crawling en soi, mais je m’inquiète de la stabilité pour les vrais visiteurs. J’hésite à activer la fonction récente de paiement à la visite de Cloudflare
  Il y a aussi le problème que mon blog personnel utilise un générateur statique, mais que cette archive tourne sur un vieux Drupal qui n’a plus reçu de correctifs de sécurité depuis des années