假冒 Googlebot 檢查

驗證 Googlebot

只有當來源 IP 通過正向確認反向 DNS 檢查,或出現在 Google 公佈的其中一個範圍檔案內,該請求才確實是 Googlebot。先對該 IP 進行反向查詢:結果必須是以 googlebot.com 或 google.com 結尾的主機名稱,而對該主機名稱進行正向查詢時,必須返回相同的 IP。user agent 字串本身不能證明任何事,因為任何人都可以發送該字串。

驗證自稱 Googlebot 的 IP

對你貼上的地址執行 Google 文件所載的兩項檢查:反向 DNS 必須解析至 googlebot.com 或 google.com 主機,而該主機必須解析回相同地址;或者該地址必須出現在 Google 公佈的範圍檔案內。

檢查存取記錄中的 IP

貼上發送 Googlebot user agent 的地址。查詢會返回其 ASN 及所屬網絡,這是識別假冒者最快的方法:真正的 Googlebot 流量來自 Google,而非寄存轉售商或住宅代理池。

ASN 資料
試試
命令列

正向確認反向 DNS 檢查

兩次查詢,一個答案
# 1. reverse lookup on the address from your log
host 66.249.66.1
# -> 1.66.249.66.in-addr.arpa domain name pointer crawl-66-249-66-1.googlebot.com

# 2. forward lookup on the hostname you just got back
host crawl-66-249-66-1.googlebot.com
# -> crawl-66-249-66-1.googlebot.com has address 66.249.66.1

# Genuine only if step 2 returns the exact address from step 1
# and the hostname ends in googlebot.com or google.com.

請將地址替換為你記錄中的地址。若結果不符,或主機名稱屬於其他網域,即表示該請求並非來自 Googlebot。

切勿略過第二步。PTR 記錄可由控制該地址的任何人設定,因此單憑 googlebot.com 主機名稱不足以作為證明。只有正向查詢才能將其連繫回 Google 的區域。

或與公佈的範圍檔案比對

常見問題

任何人都可以為自己控制的地址設定 PTR 記錄,包括以 googlebot.com 結尾的記錄。正向查詢正是堵塞這個漏洞的關鍵:只有 Google 能令 crawl-66-249-66-1.googlebot.com 解析回向你發出請求的地址。

其他爬蟲,同樣問題

Googlebot 屬於簡單的情況,因為 Google 同時公佈 DNS 慣例及範圍檔案。大部分 AI 爬蟲兩者皆無。本目錄列出每個爬蟲實際提供的驗證方式。

    假冒 Googlebot 檢查:驗證 Googlebot IP 範圍 | IPScanner