AI 搜尋爬蟲

GoogleOther

GoogleOther 是由 Google 營運的機械人,會為網頁建立索引,供 AI 答案引擎引用。「供不同產品團隊從網站擷取可公開存取的內容。此機械人遵守 robots.txt;如請求聲稱來自 GoogleOther,可用的核實依據為已公布的 IP 範圍檔案或經正向確認的反向 DNS 查詢。

GoogleIP 範圍 + DNSrobots.txt:遵守

即時檢查

驗證自稱為 GoogleOther 的 IP

貼上日誌記錄中的地址,系統會與營運者公布的資料核對。

參考資料

GoogleOther 概覽

GoogleOther 爬蟲的參考資料
User agentGoogleOther

僅為標記:以子字串比對。

營運者Google
用途抓取資料。
遵守 robots.txt遵守來源
驗證方法IP 範圍 + DNS已公布的 IP 範圍或反向 DNS

列於 Google 特殊爬蟲 IP 範圍檔案中,反向 DNS 解析至 googlebot.com 之下。由 Google 內部團隊用於一次性爬取,而非用於 Search 索引。

https://developers.google.com/static/search/apis/ipranges/special-crawlers.json

爬取模式未公布
robots.txt 標記GoogleOther
營運者文件https://developers.google.com/search/docs/crawling-indexing/overview-google-crawlers

「供不同產品團隊從網站擷取可公開存取的內容。例如,可用於內部研發的一次性爬取。」

robots.txt

允許或封鎖 GoogleOther

選擇其中一項,貼到網域根目錄。規則按標記分別設定。

封鎖 GoogleOther
User-agent: GoogleOther
Disallow: /
允許 GoogleOther
User-agent: GoogleOther
Allow: /
允許,但排除不希望被引用的頁面
User-agent: GoogleOther
Allow: /
Disallow: /account/
Disallow: /checkout/
Disallow: /search

請修改 Disallow 路徑,使其符合你的網址。

封鎖的實際代價

封鎖 GoogleOther 會使網站從其答案所依據的索引中移除,網站將不再被引用。如你重視來自 AI 答案的轉介流量,請改為封鎖訓練用爬蟲,並保留此爬蟲。

為所有爬蟲建立檔案

FAQ

GoogleOther 常見問題

GoogleOther 是甚麼?

GoogleOther 是由 Google 營運的機械人,會為網頁建立索引,供 AI 答案引擎引用。「供不同產品團隊從網站擷取可公開存取的內容。此機械人遵守 robots.txt;如請求聲稱來自 GoogleOther,可用的核實依據為已公布的 IP 範圍檔案或經正向確認的反向 DNS 查詢。

GoogleOther 是否遵守 robots.txt?

是。營運者的文件說明 GoogleOther 會讀取 robots.txt,並遵守針對其標記的 Disallow 規則。規則會在下次擷取該檔案時生效,可能是發布後數小時或數天。

如何核實請求確實來自 GoogleOther?

列於 Google 特殊爬蟲 IP 範圍檔案中,反向 DNS 解析至 googlebot.com 之下。由 Google 內部團隊用於一次性爬取,而非用於 Search 索引。參考資料發布於 https://developers.google.com/static/search/apis/ipranges/special-crawlers.json。

如何封鎖 GoogleOther?

在 robots.txt 中為標記 GoogleOther加入 Disallow: /。如該爬蟲不遵守 robots.txt,請改為在 CDN 或反向代理伺服器比對 user agent,並在該處回傳 403。

封鎖 GoogleOther 會否影響我的搜尋排名?

封鎖 GoogleOther 會使網站從其答案所依據的索引中移除,網站將不再被引用。如你重視來自 AI 答案的轉介流量,請改為封鎖訓練用爬蟲,並保留此爬蟲。

    GoogleOther(Google):User Agent、IP 核實及 robots.txt | IPScanner