AI 搜索爬虫
Amazonbot 是由 Amazon 运营的机器人，它会为网页建立索引，供 AI 问答引擎引用。通过 Alexa 提供答案时会引用所抓取的网站；未明确说明其他用途。它遵守 robots.txt，自称 Amazonbot 的请求可通过以下方式核验：经正向确认的反向 DNS 查询。
请求声明
"Amazonbot/0.1"
核验依据
Amazon 的反向 DNS
实时检查
粘贴日志中的地址，系统会将其与运营方公布的信息进行比对。
参考
| User agent | Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/119.0.0.0 Safari/537.36 (compatible; Amazonbot/0.1; +https://developer.amazon.com/support/amazonbot) |
|---|---|
| 运营方 | Amazon |
| 用途 | 用于改进服务，并为 Alexa 用户提供答案。 |
| 是否遵守 robots.txt | 遵守 |
| 验证方法 | 反向 DNS反向 DNS（经正向确认） 通过反向查询进行验证：PTR 记录应解析到 Amazon 爬虫域名下，且对该主机名进行正向查询必须返回原始 IP。 |
| 抓取模式 | 未公布 |
| robots.txt 标识符 | Amazonbot |
| 运营方文档 | https://developer.amazon.com/amazonbot |
通过 Alexa 提供答案时会引用所抓取的网站；未明确说明其他用途。
robots.txt
选择一项粘贴到域名根目录下。规则按标识符分别生效。
User-agent: Amazonbot
Disallow: /User-agent: Amazonbot
Allow: /User-agent: Amazonbot
Allow: /
Disallow: /account/
Disallow: /checkout/
Disallow: /search请修改 Disallow 路径，使其与你自己的 URL 一致。
FAQ
Amazonbot 是由 Amazon 运营的机器人，它会为网页建立索引，供 AI 问答引擎引用。通过 Alexa 提供答案时会引用所抓取的网站；未明确说明其他用途。它遵守 robots.txt，自称 Amazonbot 的请求可通过以下方式核验：经正向确认的反向 DNS 查询。
是。运营方在文档中说明 Amazonbot 会读取 robots.txt，并遵守针对其自身标识的 Disallow 规则。规则在下次抓取该文件时生效，可能是发布后数小时或数天。
通过反向查询进行验证：PTR 记录应解析到 Amazon 爬虫域名下，且对该主机名进行正向查询必须返回原始 IP。参考资料发布于 https://developer.amazon.com/amazonbot。
在 robots.txt 中为 Amazonbot 标识添加 Disallow: /。如果该爬虫不遵守 robots.txt，请在 CDN 或反向代理上匹配其 user agent 并返回 403。
屏蔽 Amazonbot 会使网站从其答案所依赖的索引中移除，不再被引用。如果你重视来自 AI 答案的引荐流量，请改为屏蔽训练爬虫，保留这个爬虫。