Comment éviter la détection des bots lors du web scraping

Basé sur Selenium, mais applicable ailleurs aussi

1. Supprimer le drapeau Navigator.Webdriver

2. Retirer certaines chaînes de caractères dans ChromeDriver / GeckoDriver

3. Modifier la résolution, le User-Agent, etc.

4. Utiliser le véritable flux d’URL. Éviter de visiter des liens invisibles

5. Changer d’IP à l’aide d’un proxy

6. Utiliser des délais aléatoires

7. Ne pas utiliser de navigateur headless (vérification possible via la permission de notification)

[xguru]

Dans le cas 1, avec Puppeteer, sur certains sites, un simple réglage en true/false suffit pour être détecté comme bot.

Il vaut donc mieux supprimer complètement la propriété comme ci-dessous.

const newProto = navigator.__proto__;

delete newProto.webdriver;

navigator.__proto__ = newProto;

[louis]

C'est un bon point :) J'ai remplacé le code