Il faudrait peut-être vérifier vos appareils électroménagers connectés

• Sur les quelque 2,67 millions d’IP uniques collectées par le honeypot Anubis chez Sourceware, 89,3 % ne figuraient dans aucune liste de menaces existante, ce qui rend difficile l’identification de la majeure partie de l’activité des scrapers avec les seules listes de blocage connues
• En insérant dans la page de challenge du HTML sémantiquement invalide et un lien « Don’t click me », les scrapers mal conçus qui le suivent sont redirigés vers du contenu sans intérêt et des liens supplémentaires
• Sur 2 678 193 IP uniques, 286 161 adresses (10,7 %) étaient présentes dans la base de données ; parmi elles, 98,6 % relevaient de la catégorie abuse, et le trafic total s’étendait sur 229 pays et 21 116 ASN
• Il est possible que le trafic provienne d’appareils électroménagers connectés infectés participant à des réseaux de proxy, mais les données collectées ne permettent pas à elles seules de prouver le type réel des appareils ni leur infection
• Pour faire face à un scraping qui ne se limite pas à un pays ou à un réseau télécom donné, un pare-feu d’application web comme Anubis est nécessaire ; une solution de fond exige une réponse mondiale coordonnée simultanément

---

Les scrapers que les listes de menaces existantes ne voient pas

• Lors de la constitution de l’Anubis reputation database, 80 à 90 % des accès enregistrés par la fonction honeypot provenaient d’IP absentes des listes existantes de surveillance des menaces
• Les données collectées ces derniers mois par Sourceware contiennent 2 678 193 IP uniques
  • Aucune adresse n’a été exclue comme élément non-IP ou doublon
  • Les adresses présentes dans la base de données sont au nombre de 286 161, soit 10,7 % du total
  • Les adresses non enregistrées sont au nombre de 2 392 032, soit 89,3 % du total
• Le tableau complet des entrées est consultable dans Appendix A: Full tables for the reputation database input

Classification et fournisseurs des IP enregistrées

• Parmi les adresses présentes dans la base de données, la catégorie abuse représente 282 182 adresses, soit 98,6 %
  • datacenter : 7 918 (2,8 %)
  • proxy : 2 562 (0,9 %)
  • vpn : 1 264 (0,4 %)
  • crawler : 46
  • tor : 17
• Selon les flags distincts, le décompte est de 7 918 pour is_datacenter, 2 562 pour is_proxy, 1 264 pour is_vpn et 46 pour is_crawler
• Il y avait 126 fournisseurs, dont netshield représentait la plus grande part avec 237 945 adresses (83,2 %)
  • bitwire : 96 539 (33,7 %), magicteamc : 26 475 (9,3 %), ipinsights : 17 378 (6,1 %), threathive : 8 422 (2,9 %)
  • Les autres incluent netmountains, multacom, fyvri, cbuijs, x4bnet, solispirit, dailyproxy, blackwall, hproxy, Scaleway, AWS, Alibaba Cloud, OVHcloud, etc.
  • Plusieurs catégories ou informations de fournisseur pouvant s’appliquer à une même IP, la somme des pourcentages dépasse 100 %

Une répartition à travers pays et réseaux

• Les adresses totales ont été observées dans 229 pays, sans se limiter à une région particulière
  • En nombre d’adresses, les premiers pays sont le Brésil avec 270 937, l’Inde avec 185 091, l’Arabie saoudite avec 120 372, le Mexique avec 95 449 et la Turquie avec 87 258
  • Les taux d’enregistrement dans la base de données sont de 29,9 % pour le Bangladesh, 27,6 % pour l’Ukraine, 21,9 % pour l’Irak, 21,3 % pour le Venezuela et 20,0 % pour le Pakistan
  • Les États-Unis affichent 3 347 adresses enregistrées sur 40 828, soit 8,2 %
• Si l’on compare avec les 249 pays inclus dans l’ISO 3166-1, dont 193 sont membres de l’ONU, l’activité des scrapers est mondiale
• Les adresses sont réparties sur 21 116 ASN
  • AS55836 Reliance Jio Infocomm Limited compte 1 749 adresses enregistrées sur 57 029, soit 3,1 %
  • AS45899 VNPT Corp en compte 6 831 sur 56 910, soit 12,0 %
  • AS14593 Space Exploration Technologies Corporation en compte 4 597 sur 31 569, soit 14,6 %
  • AS9541 Cyber Internet Services en compte 3 696 sur 21 386, soit 17,3 %
  • Le tableau omet les 18 069 autres ASN

Comment le honeypot Anubis piège les scrapers

• Pour mesurer l’ampleur de la propagation du problème des scrapers, Anubis insère le HTML sémantiquement invalide suivant dans toutes les pages de challenge

/init">Don't click me

• Il s’agit d’un lien qui devrait être ignoré lors d’un traitement normal, mais s’il est suivi, il renvoie un contenu peu coûteux à générer et dépourvu d’information réelle
  • Le contenu renvoyé contient à son tour deux liens vers d’autres pages
• Cette structure est conçue pour attirer les scrapers mal écrits à l’intérieur du honeypot plutôt que vers le site web protégé, tout en permettant de mesurer l’ampleur du problème

Possibilité d’appareils connectés infectés et limites de la réponse

• Une part importante du trafic observé pourrait provenir d’appareils électroménagers connectés infectés fournissant du trafic à des réseaux de proxy
• Cela reste toutefois une hypothèse, et les données collectées ne prouvent pas directement le type réel d’appareil ni l’éventuelle infection de chaque IP
• Pour avoir un impact réel sur un problème réparti entre pays et ASN, une réponse mondiale coordonnée simultanément est nécessaire
• L’ampleur du scraping étant suffisamment large, il est nécessaire d’exploiter un pare-feu d’application web comme Anubis
• Les faits et la situation ayant pu évoluer depuis la publication, les points flous ou erronés doivent être vérifiés avant de tirer des conclusions hâtives

[GN⁺]

Avis sur Lobste.rs

• script type=ignore est ingénieux. Des outils comme elinks et même Chrome headless utilisé par les scrapers l’ignorent complètement, mais le contenu lui-même peut quand même être transmis au point d’origine et ajouté à la file d’attente de traitement
• La vraie question intéressante n’est pas abordée. Je me demande comment effectuer l’inspection et quoi faire si un comportement hostile est détecté
  En particulier, j’aimerais en savoir plus sur la manière de détecter si un appareil infecté communique avec un serveur de commande et contrôle (C&C)
  • Je ne sais même pas comment identifier tous les modèles potentiels de smart TV, alors proposer une méthode pour analyser les malwares de chaque modèle semble encore plus difficile. Le seul conseil à peu près praticable est de ne pas installer des applications illégales qui promettent une TV gratuite
  • Cela semble difficile sans un minimum d’ingénierie réseau. La méthode la plus fiable consiste à analyser sur le routeur le trafic du LAN en le ventilant par appareil source
    On pourrait sans doute se baser sur le volume total de trafic ou sur le nombre d’adresses IP de destination différentes contactées
• Je me demande ce que signifie ici la catégorie abuse
  • Plusieurs sens sont mélangés, donc il faudrait les distinguer, mais en général cela désigne des cibles connues pour être des sources de spam par e-mail ou signalées dans FireHOL. Il suffit de chercher abuse dans ce fichier : https://github.com/TecharoHQ/reputationdb/…