Le `robots.txt` de Wikipedia

Un robots.txt amusant parce qu’il est annoté : bots au comportement étrange, bots qui ne respectent pas les règles, bots de capture, bot publicitaire de Google, mode récursif de wget très problématique, etc.

[rtyu1120]

Le passage « Doesn't follow robots.txt anyway, but... » est amusant, haha.

[iolothebard]

On peut vraiment parler de bonnes pratiques pour robots.txt !!

Merci pour ces bonnes informations.