La plupart des Googlebot sont faux

Une grande partie des cas où des requêtes attribuées à Googlebot provoquent des incidents sur des sites provient non pas de Google, mais de bots externes se faisant passer pour Googlebot
Le User-Agent HTTP peut être défini arbitrairement par l’émetteur de la requête ; la simple présence de la chaîne Googlebot/2.1 dans les logs ne garantit donc pas qu’il s’agit du vrai Googlebot
Les bots usurpateurs utilisent le nom de Googlebot pour contourner les blocages et pourraient même relever d’une campagne unique de crawler malveillant à grande échelle mobilisant des serveurs de plusieurs hébergeurs
Pour vérifier s’il s’agit du vrai Googlebot, il faut utiliser la commande host ou les plages IP publiées par Google ; même une IP dont le propriétaire enregistré est Google LLC peut être une adresse Google Cloud, ce qui exige une vérification supplémentaire
Il n’existe pas de données montrant que la majorité de l’ensemble du trafic Googlebot est fausse, mais le trafic Googlebot qui perturbe les services semble provenir principalement de bots usurpateurs

Les malentendus autour du trafic Googlebot

Des administrateurs se plaignent que le crawler de recherche de Google génère un trafic excessif provoquant des pannes de site ou se comportant comme un DDoS
Mais ce trafic destructeur peut venir non pas de Google, mais d’autres acteurs envoyant des requêtes usurpées en empruntant le nom de Googlebot
Le simple fait de voir la chaîne Googlebot dans les logs serveur ne permet pas d’affirmer que Google est à l’origine du trafic

Les requêtes qui semblent provenir de Googlebot contiennent en général une valeur du type suivant
- User-Agent: Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
La même chaîne peut aussi être enregistrée dans les logs nginx, mais l’en-tête User-Agent peut être librement défini par l’émetteur de la requête
Le User-Agent n’est pas une information d’authentification vérifiée mais une auto-identification volontaire ; n’importe qui peut donc prétendre être Googlebot

Les acteurs usurpateurs semblent utiliser le User-Agent Googlebot pour contourner les blocages visant les bots existants
L’IP de l’exemple de log correspond à un serveur fourni par l’hébergeur Virtual Machine Solutions LLC, et non par Google
L’usurpation de Googlebot est une méthode courante depuis longtemps, et son ampleur semble avoir récemment augmenté
Chris Siebenmann avance qu’il ne s’agit probablement pas d’une vieille méthode redevenue populaire simultanément en plusieurs endroits, mais plutôt d’une campagne à grande échelle menée par un unique crawler malveillant ayant obtenu de nombreux serveurs chez plusieurs hébergeurs

Conformément à la documentation de Google sur la vérification de Googlebot, on peut exécuter quelques commandes host ou comparer avec les plages IP publiées par Google
La plupart des grands crawlers publient des listes d’IP, mais leur format précis et leur mode d’exploitation varient
JAFAR est une proposition visant à standardiser les listes d’IP de crawlers, dont la procédure de normalisation est encore en cours
Même si le propriétaire enregistré d’une IP apparaît comme Google LLC, il peut s’agir d’une adresse d’hébergement Google Cloud, ce qui nécessite une vérification distincte
- Aucun cas récent d’usurpation via Google Cloud n’a été confirmé
Si la vérification montre qu’il s’agit bien du vrai Googlebot qui crawl trop agressivement, il faut suivre la documentation de Google sur la gestion d’un crawling excessif

Le simple ajout d’un champ ne suffit pas, car rien n’incite un acteur malveillant à renseigner honnêtement cette valeur
Le soi-disant evil bit de la RFC 3514 tourne en dérision le fait que les acteurs malveillants ne respectent pas ce type de standard
Web Bot Auth HTTP Signatures est une approche plus complexe qu’un champ supplémentaire, mais qui vise à mettre en place un User-Agent fiable via des signatures cryptographiques

Il n’existe pas de données prouvant que, dans l’ensemble du trafic Googlebot, les faux représentent réellement la majorité
En revanche, la plupart des cas de trafic Googlebot ayant gravement perturbé des sites semblent provenir de faux Googlebot
D’après l’expérience rapportée, le vrai Googlebot fonctionne de manière très stable, tandis que les bots usurpateurs peuvent continuer à envoyer des requêtes jusqu’à faire tomber un site