Le `robots.txt` de Wikipedia
(en.wikipedia.org)Un robots.txt amusant parce qu’il est annoté : bots au comportement étrange, bots qui ne respectent pas les règles, bots de capture, bot publicitaire de Google, mode récursif de wget très problématique, etc.
2 commentaires
Le passage « Doesn't follow robots.txt anyway, but... » est amusant, haha.
On peut vraiment parler de bonnes pratiques pour
robots.txt!!Merci pour ces bonnes informations.