AI 爬虫 robots.txt 生成器

为每个爬虫标识添加一组规则：一行 User-agent 写明爬虫名称，下面加一行 Disallow: /。robots.txt 中没有代表“AI 爬虫”的通配符，因此要真正退出，就必须写明当前在用的全部 153 个标识，包括别名。本生成器生成的正是这样的文件。

不会，只要屏蔽的是正确的爬虫。Googlebot、Bingbot 等普通搜索爬虫不属于 AI 爬虫，也不在此列表中，因此这里的任何规则都不会影响网站排名。真正会让你损失流量的是屏蔽 AI 搜索爬虫：这会让网站从这些引擎生成的答案中消失，与退出模型训练是两回事。

训练爬虫收集的页面会进入模型的训练语料；AI 搜索爬虫则为问答引擎建立其引用来源的索引。屏蔽前者是大多数发布者所说的退出，这里涉及 61 个标识。屏蔽后者会让你从答案中消失。本页的默认预设屏蔽训练和数据集采集，不影响问答引擎。

有些会遵守，大多数尚未得到证实。这里列出的 153 个标识中，有 9 个有记录表明会直接无视 robots.txt，另有 90 个从未公布任何相关政策，而这并不等于承诺遵守。robots.txt 只是一种请求；需要强制执行的内容，必须在请求本身层面进行检查。

因为这决定了规则能否强制执行。153 个标识中只有 34 个公布了可供核对的 IP 范围文件、反向 DNS 约定或运营方 ASN；其余 119 个，任何人都可以随意写进 user-agent 请求头。屏蔽这些爬虫仍然值得，可以表明你的意图，但只能拦住愿意被拦住的一方。

需要。robots.txt 按 user agent 标识匹配，因此针对 ClaudeBot 的规则对自称 Claude-Web 的请求不起作用。本生成器写出的每条规则都同时涵盖爬虫的当前名称及其别名，所以输出内容会比你勾选的爬虫数量多。

放在域名根目录，即 https://example.com/robots.txt，以纯文本形式提供。规则按主机和协议分别生效，因此子域名需要单独的文件。如果你已有该文件，请把这些规则组粘贴进去，不要整个替换：robots.txt 没有引入机制，只有最终部署的那个文件生效。