其他自動化爬蟲

facebookexternalhit

facebookexternalhit 是由 Meta/Facebook 營運的機械人,會自動爬取網頁。請注意,排除 FacebookExternalHit 會導致在社交媒體分享時無法納入 OpenGraph 數據,包括 Apple「訊息」應用程式中的豐富連結。據文件記載,此機械人不遵守 robots.txt;如請求聲稱來自 facebookexternalhit,可用的核實依據為營運者公布的 ASN。

Meta/Facebook營運商 ASNrobots.txt:忽略

即時檢查

驗證自稱為 facebookexternalhit 的 IP

貼上日誌記錄中的地址,系統會與營運者公布的資料核對。

參考資料

facebookexternalhit 概覽

facebookexternalhit 爬蟲的參考資料
User agentfacebookexternalhit

僅為標記:以子字串比對。

營運者Meta/Facebook
用途表面上僅用於分享,但很可能亦用作 AI 爬蟲
遵守 robots.txt忽略來源
驗證方法營運商 ASN營運者 ASN 檢查

連結預覽抓取工具。它的存在遠早於各 AI 代理,亦是最常被冒充的 Meta 標識,因此信任前請先核對 AS32934。

https://developers.facebook.com/docs/sharing/webmasters/web-crawlers/

爬取模式未公布
robots.txt 標記facebookexternalhit
營運者文件https://developers.facebook.com/docs/sharing/webmasters/web-crawlers/

請注意,排除 FacebookExternalHit 會導致在社交媒體分享時無法納入 OpenGraph 數據,包括 Apple「訊息」應用程式中的豐富連結。根據 Meta 的說法,其用途是「抓取在 Meta 旗下任何一款應用程式中分享的應用程式或網站內容……」。然而,相反的證據可參閱此處及此處的討論。

robots.txt

允許或封鎖 facebookexternalhit

根據文件記載,facebookexternalhit 不遵守 robots.txt。請同時在 CDN 層面執行封鎖。

封鎖 facebookexternalhit
User-agent: facebookexternalhit
Disallow: /
允許 facebookexternalhit
User-agent: facebookexternalhit
Allow: /
允許,但排除不希望被引用的頁面
User-agent: facebookexternalhit
Allow: /
Disallow: /account/
Disallow: /checkout/
Disallow: /search

請修改 Disallow 路徑,使其符合你的網址。

封鎖的實際代價

封鎖 facebookexternalhit 只會阻止此特定標記。封鎖後請檢查日誌,因為不遵守 robots.txt 的營運者經常改用其他名稱再次出現。

為所有爬蟲建立檔案

FAQ

facebookexternalhit 常見問題

facebookexternalhit 是甚麼?

facebookexternalhit 是由 Meta/Facebook 營運的機械人,會自動爬取網頁。請注意,排除 FacebookExternalHit 會導致在社交媒體分享時無法納入 OpenGraph 數據,包括 Apple「訊息」應用程式中的豐富連結。據文件記載,此機械人不遵守 robots.txt;如請求聲稱來自 facebookexternalhit,可用的核實依據為營運者公布的 ASN。

facebookexternalhit 是否遵守 robots.txt?

否。據文件記載,facebookexternalhit 不遵守 robots.txt,因此 Disallow 規則無法阻止它。封鎖須在網絡邊緣進行,按 user agent 或來源位址處理。

如何核實請求確實來自 facebookexternalhit?

連結預覽抓取工具。它的存在遠早於各 AI 代理,亦是最常被冒充的 Meta 標識,因此信任前請先核對 AS32934。參考資料發布於 https://developers.facebook.com/docs/sharing/webmasters/web-crawlers/。

如何封鎖 facebookexternalhit?

在 robots.txt 中為標記 facebookexternalhit加入 Disallow: /。如該爬蟲不遵守 robots.txt,請改為在 CDN 或反向代理伺服器比對 user agent,並在該處回傳 403。

封鎖 facebookexternalhit 會否影響我的搜尋排名?

封鎖 facebookexternalhit 只會阻止此特定標記。封鎖後請檢查日誌,因為不遵守 robots.txt 的營運者經常改用其他名稱再次出現。

    facebookexternalhit(Meta/Facebook):User Agent、IP 核實及 robots.txt | IPScanner