Analyseur Robots.txt pour NodeJS

 (github.com)
4 points par xguru 2022-01-15 | 1 commentaires | Partager sur WhatsApp

  • Développé avec pour objectif d’être compatible avec le draft IETF du Robots Exclusion Protocol

  • Règles prises en charge

→ User-agent, Allow, Disallow, Sitemap, Crawl-delay, Host

→ Chemin : correspondance avec wildcard(*) et fin de ligne ($)

À lire aussi

1 commentaires

 
xguru 2022-01-15