其他自动化爬虫
OpenAI 是一个机器人，它会自动抓取网页。该机器人的用途目前尚不明确，但它属于 OpenAI 的爬虫系列。它遵守 robots.txt，自称 OpenAI 的请求可通过以下方式核验：已公布的 IP 范围文件。
请求声明
"OpenAI"
核验依据
OpenAI 的公布的 IP 段
实时检查
粘贴日志中的地址，系统会将其与运营方公布的信息进行比对。
参考
| User agent | OpenAI仅为标识符：按子串匹配。 |
|---|---|
| 运营方 | OpenAI |
| 用途 | 其他自动化爬虫 |
| 是否遵守 robots.txt | 遵守 |
| 验证方法 | IP 段已公布的 IP 范围文件 单独的“OpenAI”标识不属于 OpenAI 已记录的三种爬虫。除非来源 IP 出现在 OpenAI 发布的某个 IP 范围文件中，否则应视为未经验证。 |
| 抓取模式 | 未公布 |
| robots.txt 标识符 | OpenAI |
| 运营方文档 | https://platform.openai.com/docs/bots |
该机器人的用途目前尚不明确，但它属于 OpenAI 的爬虫系列。
robots.txt
选择一项粘贴到域名根目录下。规则按标识符分别生效。
User-agent: OpenAI
Disallow: /User-agent: OpenAI
Allow: /User-agent: OpenAI
Allow: /
Disallow: /account/
Disallow: /checkout/
Disallow: /search请修改 Disallow 路径，使其与你自己的 URL 一致。
FAQ
OpenAI 是一个机器人，它会自动抓取网页。该机器人的用途目前尚不明确，但它属于 OpenAI 的爬虫系列。它遵守 robots.txt，自称 OpenAI 的请求可通过以下方式核验：已公布的 IP 范围文件。
是。运营方在文档中说明 OpenAI 会读取 robots.txt，并遵守针对其自身标识的 Disallow 规则。规则在下次抓取该文件时生效，可能是发布后数小时或数天。
单独的“OpenAI”标识不属于 OpenAI 已记录的三种爬虫。除非来源 IP 出现在 OpenAI 发布的某个 IP 范围文件中，否则应视为未经验证。参考资料发布于 https://platform.openai.com/docs/bots。
在 robots.txt 中为 OpenAI 标识添加 Disallow: /。如果该爬虫不遵守 robots.txt，请在 CDN 或反向代理上匹配其 user agent 并返回 403。
屏蔽 OpenAI 只能阻止这个特定标识。之后请检查日志，因为不遵守 robots.txt 的运营方常常会换个名称再来。