Генератор robots.txt

Как использовать генератор robots.txt

1. Разрешите или заблокируйте все, а затем перечислите пути для блокировки.
2. Добавьте URL-адрес карты сайта.
3. Загрузите robots.txt и загрузите его в корень вашего сайта, например. example.com/robots.txt.

Что может и чего не может robots.txt

robots.txt — это запрос, а не блокировка. Добросовестные сканеры следуют за ним, но он не скрывает страницы: любой по-прежнему может открыть заблокированный URL-адрес, а заблокированные страницы по-прежнему могут появляться в результатах поиска, если на них ссылаются другие сайты. Чтобы исключить страницу из результатов поиска, используйте noindex вместо этого метатег (см. генератор метатегов). Никогда не указывайте секретные URL-адреса в файле robots.txt.

Примеры