Générateur de robots.txt

Comment utiliser le générateur robots.txt

1. Autorisez ou bloquez tout, puis répertoriez les chemins à bloquer.
2. Ajoutez l'URL de votre plan de site.
3. Téléchargez robots.txt et téléchargez-le à la racine de votre site, par exemple. exemple.com/robots.txt.

Ce que robots.txt peut et ne peut pas faire

robots.txt est une requête, pas un verrou. Les robots d'exploration bien élevés le suivent, mais il ne cache pas les pages : n'importe qui peut toujours ouvrir une URL bloquée, et les pages bloquées peuvent toujours apparaître dans les résultats de recherche si d'autres sites renvoient vers elles. Pour garder une page en dehors des résultats de recherche, utilisez un noindex balise méta à la place (voir la générateur de balises méta). Ne répertoriez jamais les URL secrètes dans robots.txt.

Exemples