训练爬虫
Bytespider 是由 ByteDance 运营的机器人，它会收集网页用于训练 AI 模型。下载数据用于训练 LLM，包括 ChatGPT 的竞品。运营方未公布 IP 范围列表或反向 DNS 规则，因此无法证明带有此 user agent 的请求是真实的，仅靠 robots.txt 规则也无法阻止伪造请求。
请求声明
"Bytespider"
核验依据
未公布
实时检查
Bytespider 没有可供核验的运营方信息。此处仍会显示该地址的真实情况。
参考
| User agent | Bytespider仅为标识符：按子串匹配。 |
|---|---|
| 运营方 | ByteDance |
| 用途 | LLM 训练。 |
| 是否遵守 robots.txt | 忽略 |
| 验证方法 | 仅自称未公布，仅凭 user agent ByteDance 没有公布 Bytespider 的 IP 段，也没有反向 DNS 规范。据大量报道，它会从无法反向解析到 ByteDance 的地址大量抓取。限速比 robots.txt 规则更可靠。 |
| 抓取模式 | 未公布 |
| robots.txt 标识符 | Bytespider |
| 运营方文档 | 未发布 |
下载数据用于训练 LLM，包括 ChatGPT 的竞品。
Bytespider 由 ByteDance 运营，其云服务 BytePlus 是许多网站在分析数据中看到的新加坡流量的来源网络之一。 中国和新加坡的机器人流量一文介绍了如何区分云端机器人与真实访客。
robots.txt
据记录，Bytespider 不遵守 robots.txt。请同时在 CDN 上执行屏蔽。
User-agent: Bytespider
Disallow: /User-agent: Bytespider
Allow: /User-agent: Bytespider
Allow: /
Disallow: /account/
Disallow: /checkout/
Disallow: /search请修改 Disallow 路径，使其与你自己的 URL 一致。
FAQ
Bytespider 是由 ByteDance 运营的机器人，它会收集网页用于训练 AI 模型。下载数据用于训练 LLM，包括 ChatGPT 的竞品。运营方未公布 IP 范围列表或反向 DNS 规则，因此无法证明带有此 user agent 的请求是真实的，仅靠 robots.txt 规则也无法阻止伪造请求。
据网站所有者反馈，Bytespider 不能可靠地遵守 robots.txt。仍建议添加规则，然后检查日志；如果请求仍在继续，请在边缘按 user agent 或来源地址屏蔽。
无法验证，至少无法仅凭请求本身验证。ByteDance 没有公布 Bytespider 的 IP 段，也没有反向 DNS 规范。据大量报道，它会从无法反向解析到 ByteDance 的地址大量抓取。限速比 robots.txt 规则更可靠。可改为将来源 IP 与托管和数据中心的 IP 范围进行比对，并对任何表现得像爬虫的流量进行限速。
在 robots.txt 中为 Bytespider 标识添加 Disallow: /。如果该爬虫不遵守 robots.txt，请在 CDN 或反向代理上匹配其 user agent 并返回 403。
屏蔽 Bytespider 可使你的网页不进入下一轮训练。它不会删除已收集的内容，也不会影响网站在普通搜索中的排名。