Как да използвате генератора robots.txt
- Разрешете или блокирайте всичко, след което избройте пътищата за блокиране.
- Добавете URL адреса на вашата карта на сайта.
- Изтеглете robots.txt и го качете в корена на вашия сайт, напр. example.com/robots.txt.
Какво може и какво не може да направи robots.txt
robots.txt е заявка, а не заключване. Добре възпитаните роботи го следват, но той не крие страници: всеки все още може да отвори блокиран URL адрес и блокираните страници все още могат да се показват в резултатите от търсенето, ако други сайтове имат връзка към тях. За да предпазите страница от резултатите от търсенето, използвайте a noindex вместо това мета маркер (вижте генератор на мета тагове). Никога не изброявайте тайни URL адреси в robots.txt.
Примери
Потребителски агент: * Забрана: /admin/ Карта на сайта: https://…
Добавя правила за забрана за GPTBot, ClaudeBot, CCBot и други