助理擷取程式
Meta-ExternalFetcher 是由 Meta 營運的機械人,會按需為 AI 助理擷取單一網頁。Meta-ExternalFetcher 由 Meta AI 產品在回應使用者提示時派出,用於擷取個別連結。據文件記載,此機械人不遵守 robots.txt;如請求聲稱來自 Meta-ExternalFetcher,可用的核實依據為營運者公布的 ASN。
請求聲稱
"Meta-ExternalFetcher"
核對依據
Meta 的ASN
即時檢查
貼上日誌記錄中的地址,系統會與營運者公布的資料核對。
參考資料
| User agent | Meta-ExternalFetcher僅為標記:以子字串比對。 |
|---|---|
| 營運者 | Meta |
| 用途 | 助理擷取程式 |
| 遵守 robots.txt | 忽略來源 |
| 驗證方法 | 營運商 ASN營運者 ASN 檢查 與其他 Meta 代理相同,以 AS32934 進行檢查。此代理擷取使用者分享給 Meta AI 助理的單一 URL。 https://developers.facebook.com/docs/sharing/webmasters/web-crawlers/ |
| 爬取模式 | 未公布 |
| robots.txt 標記 | Meta-ExternalFetchermeta-externalfetcher |
| 營運者文件 | https://developers.facebook.com/docs/sharing/webmasters/web-crawlers/ |
Meta-ExternalFetcher 由 Meta AI 產品在回應使用者提示時派出,用於擷取個別連結。
robots.txt
根據文件記載,Meta-ExternalFetcher 不遵守 robots.txt。請同時在 CDN 層面執行封鎖。
User-agent: Meta-ExternalFetcher
User-agent: meta-externalfetcher
Disallow: /User-agent: Meta-ExternalFetcher
User-agent: meta-externalfetcher
Allow: /User-agent: Meta-ExternalFetcher
User-agent: meta-externalfetcher
Allow: /
Disallow: /account/
Disallow: /checkout/
Disallow: /search請修改 Disallow 路徑,使其符合你的網址。
FAQ
Meta-ExternalFetcher 是由 Meta 營運的機械人,會按需為 AI 助理擷取單一網頁。Meta-ExternalFetcher 由 Meta AI 產品在回應使用者提示時派出,用於擷取個別連結。據文件記載,此機械人不遵守 robots.txt;如請求聲稱來自 Meta-ExternalFetcher,可用的核實依據為營運者公布的 ASN。
否。據文件記載,Meta-ExternalFetcher 不遵守 robots.txt,因此 Disallow 規則無法阻止它。封鎖須在網絡邊緣進行,按 user agent 或來源位址處理。
與其他 Meta 代理相同,以 AS32934 進行檢查。此代理擷取使用者分享給 Meta AI 助理的單一 URL。參考資料發布於 https://developers.facebook.com/docs/sharing/webmasters/web-crawlers/。
在 robots.txt 中為以下 user agent 標記(Meta-ExternalFetcher, meta-externalfetcher)加入 Disallow: /。如該爬蟲不遵守 robots.txt,請改為在 CDN 或反向代理伺服器比對 user agent,並在該處回傳 403。
封鎖 Meta-ExternalFetcher 後,用戶查詢你的網址時會收到錯誤訊息,而非摘要。這是客戶支援與聲譽方面的取捨,與訓練無關。