En cas de problème, bloquez au niveau IP

• Lors d’une récente analyse du trafic web, il a été constaté que le webbot Thinkbot était celui qui générait le plus de trafic
• Ce bot ignore robots.txt, et son message de présentation est d’une désinvolture extrême, se résumant en substance à : « en cas de problème, bloquez l’IP »
• En un mois, il a utilisé 74 adresses IP différentes, réparties sur 41 blocs réseau
• L’enquête a montré que tous ces blocs réseau étaient propriété de Tencent, ce qui fait naître le soupçon d’un possible transfert du coût du Great Firewall
• Au final, une règle de blocage massive couvrant plus de 470 000 IP a été ajoutée

---

L’apparition de Thinkbot

• En analysant le trafic web, il a été constaté qu’un webbot nommé Thinkbot occupait une place importante
• La chaîne User-Agent était la suivante, et particulièrement peu sérieuse

  “Mozilla/5.0 (compatible; Thinkbot/0.5.8; +In­_the­_test­_phase,­_if­_the­_Thinkbot­_brings­_you­_trouble,­_please­_block­_its_IP_address._Thank_you.)”.

  • En dehors de la formule « si cela pose problème pendant la phase de test, merci de bloquer l’IP », il n’y avait même pas d’URL de référence
• Le bot a procédé au crawl sans aucun respect pour le fichier robots.txt
• Même en voulant le bloquer en tant qu’administrateur de site, ce n’était pas une seule IP mais 74 adresses IP qui étaient utilisées
• En remontant leur origine et en consultant les ASN, il est apparu que cela provenait de 41 blocs réseau
• Cela signifie qu’une simple règle de blocage sur une IP unique ne permet pas de se défendre

Le lien avec Tencent

• Ces 41 blocs réseau étaient tous propriété de Tencent
• L’auteur soupçonne que le gouvernement chinois pourrait fermer les yeux sur ce comportement, voire l’encourager, et qu’on peut y voir une tentative de faire porter à l’extérieur le coût du Great Firewall
• En Chine, la collecte de contenu est autorisée, et même si elle est bloquée depuis l’extérieur, cela ne pose pas de problème du point de vue du CCP ; en revanche, cela impose une charge aux autres pays et aux sites qui essaient de bloquer ces accès

Mesures de blocage au niveau du pare-feu

• L’auteur a ajouté lui-même les blocs réseau de Tencent aux règles de pare-feu badbots
• Exemples : 43.130.0.0/18, 101.32.0.0/20, 150.109.96.0/19
• Plus de 40 blocs réseau ont été ajoutés au total ; cela ne couvre pas l’ensemble des IP détenues par Tencent, mais inclut plus de 476 590 IP uniques

Conclusion et comparaison

• L’auteur résume cette situation par une réalité : « sur Internet, on ne peut plus avoir de belles choses »
• Au-delà du simple blocage de trafic de bots, c’est un exemple qui montre l’érosion de la confiance dans l’écosystème Internet et l’inévitabilité des réponses défensives