AI 搜尋爬蟲

Amzn-SearchBot

Amzn-SearchBot 是由 Amazon 營運的機械人,會為網頁建立索引,供 AI 答案引擎引用。Amzn-SearchBot 為 Amazon 的購物及助理搜尋介面爬取網頁。此機械人是否遵守 robots.txt 未有文件記載;如請求聲稱來自 Amzn-SearchBot,可用的核實依據為經正向確認的反向 DNS 查詢。

Amazon反向 DNSrobots.txt:未有政策

即時檢查

驗證自稱為 Amzn-SearchBot 的 IP

貼上日誌記錄中的地址,系統會與營運者公布的資料核對。

參考資料

Amzn-SearchBot 概覽

Amzn-SearchBot 爬蟲的參考資料
User agentAmzn-SearchBot

僅為標記:以子字串比對。

營運者Amazon
用途AI 搜尋爬蟲
遵守 robots.txt未有政策
驗證方法反向 DNS反向 DNS(經正向確認)

屬於與 Amazonbot 一併記錄的 Amazon 爬蟲系列。請以相同的先反向後正向 DNS 檢查進行驗證。

https://developer.amazon.com/amazonbot

爬取模式未公布
robots.txt 標記Amzn-SearchBot
營運者文件未有公布

Amzn-SearchBot 為 Amazon 的購物及助理搜尋介面爬取網頁。其說明文件與 Amazonbot 並列,驗證方法亦相同。

robots.txt

允許或封鎖 Amzn-SearchBot

選擇其中一項,貼到網域根目錄。規則按標記分別設定。

封鎖 Amzn-SearchBot
User-agent: Amzn-SearchBot
Disallow: /
允許 Amzn-SearchBot
User-agent: Amzn-SearchBot
Allow: /
允許,但排除不希望被引用的頁面
User-agent: Amzn-SearchBot
Allow: /
Disallow: /account/
Disallow: /checkout/
Disallow: /search

請修改 Disallow 路徑,使其符合你的網址。

封鎖的實際代價

封鎖 Amzn-SearchBot 會使網站從其答案所依據的索引中移除,網站將不再被引用。如你重視來自 AI 答案的轉介流量,請改為封鎖訓練用爬蟲,並保留此爬蟲。

為所有爬蟲建立檔案

FAQ

Amzn-SearchBot 常見問題

Amzn-SearchBot 是甚麼?

Amzn-SearchBot 是由 Amazon 營運的機械人,會為網頁建立索引,供 AI 答案引擎引用。Amzn-SearchBot 為 Amazon 的購物及助理搜尋介面爬取網頁。此機械人是否遵守 robots.txt 未有文件記載;如請求聲稱來自 Amzn-SearchBot,可用的核實依據為經正向確認的反向 DNS 查詢。

Amzn-SearchBot 是否遵守 robots.txt?

未有文件記載。營運者並無說明 Amzn-SearchBot 是否讀取 robots.txt,因此請加入規則,並在日誌中確認請求確實停止。

如何核實請求確實來自 Amzn-SearchBot?

屬於與 Amazonbot 一併記錄的 Amazon 爬蟲系列。請以相同的先反向後正向 DNS 檢查進行驗證。參考資料發布於 https://developer.amazon.com/amazonbot。

如何封鎖 Amzn-SearchBot?

在 robots.txt 中為標記 Amzn-SearchBot加入 Disallow: /。如該爬蟲不遵守 robots.txt,請改為在 CDN 或反向代理伺服器比對 user agent,並在該處回傳 403。

封鎖 Amzn-SearchBot 會否影響我的搜尋排名?

封鎖 Amzn-SearchBot 會使網站從其答案所依據的索引中移除,網站將不再被引用。如你重視來自 AI 答案的轉介流量,請改為封鎖訓練用爬蟲,並保留此爬蟲。

    Amzn-SearchBot(Amazon):User Agent、IP 核實及 robots.txt | IPScanner