AI 搜尋爬蟲
Amzn-SearchBot 是由 Amazon 營運的機械人,會為網頁建立索引,供 AI 答案引擎引用。Amzn-SearchBot 為 Amazon 的購物及助理搜尋介面爬取網頁。此機械人是否遵守 robots.txt 未有文件記載;如請求聲稱來自 Amzn-SearchBot,可用的核實依據為經正向確認的反向 DNS 查詢。
請求聲稱
"Amzn-SearchBot"
核對依據
Amazon 的反向 DNS
即時檢查
貼上日誌記錄中的地址,系統會與營運者公布的資料核對。
參考資料
| User agent | Amzn-SearchBot僅為標記:以子字串比對。 |
|---|---|
| 營運者 | Amazon |
| 用途 | AI 搜尋爬蟲 |
| 遵守 robots.txt | 未有政策 |
| 驗證方法 | 反向 DNS反向 DNS(經正向確認) 屬於與 Amazonbot 一併記錄的 Amazon 爬蟲系列。請以相同的先反向後正向 DNS 檢查進行驗證。 |
| 爬取模式 | 未公布 |
| robots.txt 標記 | Amzn-SearchBot |
| 營運者文件 | 未有公布 |
Amzn-SearchBot 為 Amazon 的購物及助理搜尋介面爬取網頁。其說明文件與 Amazonbot 並列,驗證方法亦相同。
robots.txt
選擇其中一項,貼到網域根目錄。規則按標記分別設定。
User-agent: Amzn-SearchBot
Disallow: /User-agent: Amzn-SearchBot
Allow: /User-agent: Amzn-SearchBot
Allow: /
Disallow: /account/
Disallow: /checkout/
Disallow: /search請修改 Disallow 路徑,使其符合你的網址。
FAQ
Amzn-SearchBot 是由 Amazon 營運的機械人,會為網頁建立索引,供 AI 答案引擎引用。Amzn-SearchBot 為 Amazon 的購物及助理搜尋介面爬取網頁。此機械人是否遵守 robots.txt 未有文件記載;如請求聲稱來自 Amzn-SearchBot,可用的核實依據為經正向確認的反向 DNS 查詢。
未有文件記載。營運者並無說明 Amzn-SearchBot 是否讀取 robots.txt,因此請加入規則,並在日誌中確認請求確實停止。
屬於與 Amazonbot 一併記錄的 Amazon 爬蟲系列。請以相同的先反向後正向 DNS 檢查進行驗證。參考資料發布於 https://developer.amazon.com/amazonbot。
在 robots.txt 中為標記 Amzn-SearchBot加入 Disallow: /。如該爬蟲不遵守 robots.txt,請改為在 CDN 或反向代理伺服器比對 user agent,並在該處回傳 403。
封鎖 Amzn-SearchBot 會使網站從其答案所依據的索引中移除,網站將不再被引用。如你重視來自 AI 答案的轉介流量,請改為封鎖訓練用爬蟲,並保留此爬蟲。