Português (Brasil)

122 · Ferramentas de Segurança

Gerador Robots.txt

Escolha o que os rastreadores podem visitar e baixe um robots.txt pronto para a pasta raiz do seu site.

Seus dados: Esta ferramenta processa sua entrada neste navegador. CapyHelp não carrega essa entrada para gerar seu resultado. Detalhes de privacidade

Mecanismos de busca

Comece cada caminho com /. Deixe em branco para não bloquear nada.

O Google ignora isso; O Bing e outros respeitam isso.

Como usar o gerador robots.txt

  1. Permita ou bloqueie tudo e liste os caminhos a serem bloqueados.
  2. Adicione o URL do seu mapa do site.
  3. Baixe robots.txt e carregue-o na raiz do seu site, por exemplo. exemplo.com/robots.txt.

O que o robots.txt pode e o que não pode fazer

robots.txt é uma solicitação, não um bloqueio. Rastreadores bem comportados o seguem, mas ele não esconde páginas: qualquer pessoa ainda pode abrir um URL bloqueado, e páginas bloqueadas ainda podem aparecer nos resultados de pesquisa se outros sites tiverem links para elas. Para manter uma página fora dos resultados de pesquisa, use um noindex meta tag em vez disso (veja o gerador de meta tags). Nunca liste URLs secretos em robots.txt.

Exemplos

Bloqueie /admin/ e adicione um mapa do site

Agente do usuário: * Proibir: /admin/ Mapa do site: https://…

Peça aos rastreadores de IA para não rastrearem

Adiciona regras de proibição para GPTBot, ClaudeBot, CCBot e outros

Perguntas

Onde coloco o arquivo?

Na raiz do seu domínio, ele abre em https://seudominio.com/robots.txt. Cada subdomínio precisa do seu próprio.

Tradução automática. Revise resultados importantes.