Cómo utilizar el generador de robots.txt
- Permita o bloquee todo, luego enumere las rutas para bloquear.
- Agregue la URL de su mapa del sitio.
- Descargue robots.txt y cárguelo en la raíz de su sitio, p. ejemplo.com/robots.txt.
Lo que robots.txt puede y no puede hacer
robots.txt es una solicitud, no un bloqueo. Los rastreadores que se portan bien lo siguen, pero no oculta páginas: cualquiera aún puede abrir una URL bloqueada, y las páginas bloqueadas aún pueden aparecer en los resultados de búsqueda si otros sitios enlazan con ellas. Para mantener una página fuera de los resultados de búsqueda, utilice un noindex metaetiqueta en su lugar (consulte la generador de metaetiquetas). Nunca incluyas URL secretas en robots.txt.
Ejemplos
Agente de usuario: * No permitir: /admin/ Mapa del sitio: https://…
Agrega reglas de no permitir para GPTBot, ClaudeBot, CCBot y otros