Cloudflare Radar : AI Insights

• Une page dédiée AI Insights a été ajoutée à Cloudflare Radar, permettant de visualiser sur un seul écran le trafic des bots et crawlers IA, la popularité des services d’IA générative basée sur le DNS, les directives robots.txt et les tendances d’utilisation des modèles Workers AI
• Le graphique du trafic des bots et crawlers IA fournit des données de synthèse et des séries temporelles pour les principaux UA à partir de la liste ai.robots.txt, avec une analyse détaillée via l’API Radar et Data Explorer
• Le classement des services d’IA générative utilisant les données DNS de 1.1.1.1 montre l’évolution quotidienne des tendances, et permet de constater les variations rapides de nouveaux services, comme la forte progression de DeepSeek fin janvier 2025 (apparition le 26/01 → 3e place le 29/01)
• L’analyse de robots.txt agrège les directives Allow/Disallow liées à l’IA sur les 10 000 principaux domaines afin de visualiser les tendances de blocage par catégorie, mettant en évidence une tendance large au refus dans le secteur news et médias
• La popularité des modèles/tâches Workers AI s’appuie sur des données partagées pour fournir les tendances d’usage par modèle et par tâche ainsi que des comparaisons temporelles, aidant à comprendre l’évolution d’un écosystème de modèles en mutation rapide

---

Vue d’ensemble

• Cloudflare a lancé une page AI Insights dans Radar afin de regrouper les tendances de trafic, la popularité des services, le contrôle d’accès et l’usage des modèles liés à l’IA
• Les sources de données incluent le trafic DNS de 1.1.1.1, la liste des user agents de ai.robots.txt, les données partagées de Workers AI, ainsi que l’intégration avec l’API Radar/Data Explorer

Tendances du trafic des bots et crawlers IA

• L’activité des 5 principaux bots/crawlers IA est visualisée par période afin de mieux comprendre l’intensité des requêtes et leur périodicité
  • Les critères de collecte des user agents s’appuient sur la liste ai.robots.txt, continuellement mise à jour
  • Un accès programmatique est proposé via les endpoints API de séries temporelles et de synthèse
• Dans Data Explorer, il est possible d’explorer les tendances globales de l’ensemble des bots IA
  • Les opérateurs peuvent y vérifier le trafic anormal selon la région, la période ou l’UA
  • Cela peut servir à des analyses de corrélation avec les politiques de réponse internes

Popularité des services d’IA générative

• Un classement relatif des services publics d’IA générative est fourni au jour le jour, sur la base du volume de requêtes DNS vers 1.1.1.1
  • Les bilans annuels 2023/2024 ont montré que ChatGPT conservait la 1re place
  • Fin janvier 2025, une forte volatilité entre les rangs 6 à 10 a été observée
• DeepSeek a fait sa première apparition le 26 janvier avant de bondir à la 3e place le 29 janvier
  • Cela fournit des données de classement à haute fréquence utiles pour détecter des services émergents en très forte croissance
  • Dans l’API Radar, les données brutes de séries temporelles sont accessibles via le paramètre serviceCategory=Generative%20AI

Analyse des fichiers robots.txt

• Les 10 000 principaux domaines sont collectés périodiquement afin d’agréger les directives Allow/Disallow liées à l’IA
  • Les graphiques résument, par user agent, les cas de permission/interdiction totale et de permission/interdiction partielle
  • La catégorie news et médias montre une tendance large à l’interdiction vis-à-vis des UA IA
• En se basant sur les directives Allow, le nombre de sites explicitement autorisés diminue fortement
  • Il faut noter qu’en l’absence d’UA spécifié et sans wildcard, le comportement par défaut reste une autorisation totale
  • L’API Radar et Data Explorer permettent aussi une analyse filtrée par bot ou par directive

Popularité des modèles et tâches Workers AI

• Les tendances d’usage des modèles et tâches (Task) pris en charge publiquement dans Workers AI sont visualisées à partir de données partagées
  • La popularité des modèles et la popularité des tâches sont fournies séparément sous forme de séries temporelles et de synthèses
  • Dans Data Explorer, la fonction de comparaison de période (timeCompare) permet d’analyser les hausses et baisses par rapport au mois précédent
• Exemples de modèles : génération de texte, génération d’images, reconnaissance vocale, classification d’images et autres tâches variées
  • Lors de la sortie de nouveaux modèles puissants, une visibilité précoce peut être exploitée pour une réaction proactive

Conclusion et implications

• L’écosystème de l’IA présente une forte volatilité, avec de nombreux cas où de nouveaux services connaissent une croissance rapide en très peu de temps
  • Avec l’essor des services génératifs, les enjeux de scraping de contenus, droits d’auteur et contrôle d’accès restent dans une relation de tension durable
• La page AI Insights fournit de manière intégrée le trafic, la popularité, le contrôle d’accès et l’usage des modèles, ce qui la rend utile aux observateurs du secteur comme aux praticiens pour suivre les tendances du moment
  • Les opérateurs peuvent mettre en place une chaîne de monitoring et de reporting automatisés via l’API Radar et Data Explorer
  • Il est possible d’affiner la réponse aux bots IA en reliant la stratégie de directives robots.txt aux politiques CDN/sécurité