其他自動化爬蟲
facebookexternalhit 是由 Meta/Facebook 營運的機械人,會自動爬取網頁。請注意,排除 FacebookExternalHit 會導致在社交媒體分享時無法納入 OpenGraph 數據,包括 Apple「訊息」應用程式中的豐富連結。據文件記載,此機械人不遵守 robots.txt;如請求聲稱來自 facebookexternalhit,可用的核實依據為營運者公布的 ASN。
請求聲稱
"facebookexternalhit"
核對依據
Meta/Facebook 的ASN
即時檢查
貼上日誌記錄中的地址,系統會與營運者公布的資料核對。
參考資料
| User agent | facebookexternalhit僅為標記:以子字串比對。 |
|---|---|
| 營運者 | Meta/Facebook |
| 用途 | 表面上僅用於分享,但很可能亦用作 AI 爬蟲 |
| 遵守 robots.txt | 忽略來源 |
| 驗證方法 | 營運商 ASN營運者 ASN 檢查 連結預覽抓取工具。它的存在遠早於各 AI 代理,亦是最常被冒充的 Meta 標識,因此信任前請先核對 AS32934。 https://developers.facebook.com/docs/sharing/webmasters/web-crawlers/ |
| 爬取模式 | 未公布 |
| robots.txt 標記 | facebookexternalhit |
| 營運者文件 | https://developers.facebook.com/docs/sharing/webmasters/web-crawlers/ |
請注意,排除 FacebookExternalHit 會導致在社交媒體分享時無法納入 OpenGraph 數據,包括 Apple「訊息」應用程式中的豐富連結。根據 Meta 的說法,其用途是「抓取在 Meta 旗下任何一款應用程式中分享的應用程式或網站內容……」。然而,相反的證據可參閱此處及此處的討論。
robots.txt
根據文件記載,facebookexternalhit 不遵守 robots.txt。請同時在 CDN 層面執行封鎖。
User-agent: facebookexternalhit
Disallow: /User-agent: facebookexternalhit
Allow: /User-agent: facebookexternalhit
Allow: /
Disallow: /account/
Disallow: /checkout/
Disallow: /search請修改 Disallow 路徑,使其符合你的網址。
FAQ
facebookexternalhit 是由 Meta/Facebook 營運的機械人,會自動爬取網頁。請注意,排除 FacebookExternalHit 會導致在社交媒體分享時無法納入 OpenGraph 數據,包括 Apple「訊息」應用程式中的豐富連結。據文件記載,此機械人不遵守 robots.txt;如請求聲稱來自 facebookexternalhit,可用的核實依據為營運者公布的 ASN。
否。據文件記載,facebookexternalhit 不遵守 robots.txt,因此 Disallow 規則無法阻止它。封鎖須在網絡邊緣進行,按 user agent 或來源位址處理。
連結預覽抓取工具。它的存在遠早於各 AI 代理,亦是最常被冒充的 Meta 標識,因此信任前請先核對 AS32934。參考資料發布於 https://developers.facebook.com/docs/sharing/webmasters/web-crawlers/。
在 robots.txt 中為標記 facebookexternalhit加入 Disallow: /。如該爬蟲不遵守 robots.txt,請改為在 CDN 或反向代理伺服器比對 user agent,並在該處回傳 403。
封鎖 facebookexternalhit 只會阻止此特定標記。封鎖後請檢查日誌,因為不遵守 robots.txt 的營運者經常改用其他名稱再次出現。