122 · 安全工具

Robots.txt 生成器

选择哪些爬虫可以访问并为您网站的根文件夹下载现成的 robots.txt。

在您的浏览器中运行

您的数据： 该工具处理您在此浏览器中的输入。 CapyHelp 不会上传该输入来生成结果。隐私详情

如何使用 robots.txt 生成器

允许或阻止所有内容，然后列出要阻止的路径。
添加您的站点地图 URL。
下载 robots.txt 并将其上传到您网站的根目录，例如example.com/robots.txt。

robots.txt 能做什么和不能做什么

robots.txt 是一个请求，而不是一个锁。行为良好的爬虫会遵循它，但它不会隐藏页面：任何人仍然可以打开被阻止的 URL，并且如果其他网站链接到被阻止的页面，它们仍然可以出现在搜索结果中。要将页面排除在搜索结果之外，请使用 noindex 改为元标记（请参阅元标签生成器）。切勿在 robots.txt 中列出秘密 URL。

示例

阻止 /admin/ 并添加站点地图

用户代理：* 禁止：/admin/ 站点地图：https://...

要求AI爬虫不要爬行

添加 GPTBot、ClaudeBot、CCBot 等的禁止规则

问题

我将该文件放在哪里？

在您域的根目录中，因此它会在 https://yourdomain.com/robots.txt 中打开。每个子域都需要自己的。

自动翻译。回顾重要结果。