助理擷取程式

Meta-ExternalFetcher

Meta-ExternalFetcher 是由 Meta 營運的機械人,會按需為 AI 助理擷取單一網頁。Meta-ExternalFetcher 由 Meta AI 產品在回應使用者提示時派出,用於擷取個別連結。據文件記載,此機械人不遵守 robots.txt;如請求聲稱來自 Meta-ExternalFetcher,可用的核實依據為營運者公布的 ASN。

Meta營運商 ASNrobots.txt:忽略

即時檢查

驗證自稱為 Meta-ExternalFetcher 的 IP

貼上日誌記錄中的地址,系統會與營運者公布的資料核對。

參考資料

Meta-ExternalFetcher 概覽

Meta-ExternalFetcher 爬蟲的參考資料
User agentMeta-ExternalFetcher

僅為標記:以子字串比對。

營運者Meta
用途助理擷取程式
遵守 robots.txt忽略來源
驗證方法營運商 ASN營運者 ASN 檢查

與其他 Meta 代理相同,以 AS32934 進行檢查。此代理擷取使用者分享給 Meta AI 助理的單一 URL。

https://developers.facebook.com/docs/sharing/webmasters/web-crawlers/

爬取模式未公布
robots.txt 標記Meta-ExternalFetchermeta-externalfetcher
營運者文件https://developers.facebook.com/docs/sharing/webmasters/web-crawlers/

Meta-ExternalFetcher 由 Meta AI 產品在回應使用者提示時派出,用於擷取個別連結。

robots.txt

允許或封鎖 Meta-ExternalFetcher

根據文件記載,Meta-ExternalFetcher 不遵守 robots.txt。請同時在 CDN 層面執行封鎖。

封鎖 Meta-ExternalFetcher
User-agent: Meta-ExternalFetcher
User-agent: meta-externalfetcher
Disallow: /
允許 Meta-ExternalFetcher
User-agent: Meta-ExternalFetcher
User-agent: meta-externalfetcher
Allow: /
允許,但排除不希望被引用的頁面
User-agent: Meta-ExternalFetcher
User-agent: meta-externalfetcher
Allow: /
Disallow: /account/
Disallow: /checkout/
Disallow: /search

請修改 Disallow 路徑,使其符合你的網址。

封鎖的實際代價

封鎖 Meta-ExternalFetcher 後,用戶查詢你的網址時會收到錯誤訊息,而非摘要。這是客戶支援與聲譽方面的取捨,與訓練無關。

為所有爬蟲建立檔案

FAQ

Meta-ExternalFetcher 常見問題

Meta-ExternalFetcher 是甚麼?

Meta-ExternalFetcher 是由 Meta 營運的機械人,會按需為 AI 助理擷取單一網頁。Meta-ExternalFetcher 由 Meta AI 產品在回應使用者提示時派出,用於擷取個別連結。據文件記載,此機械人不遵守 robots.txt;如請求聲稱來自 Meta-ExternalFetcher,可用的核實依據為營運者公布的 ASN。

Meta-ExternalFetcher 是否遵守 robots.txt?

否。據文件記載,Meta-ExternalFetcher 不遵守 robots.txt,因此 Disallow 規則無法阻止它。封鎖須在網絡邊緣進行,按 user agent 或來源位址處理。

如何核實請求確實來自 Meta-ExternalFetcher?

與其他 Meta 代理相同,以 AS32934 進行檢查。此代理擷取使用者分享給 Meta AI 助理的單一 URL。參考資料發布於 https://developers.facebook.com/docs/sharing/webmasters/web-crawlers/。

如何封鎖 Meta-ExternalFetcher?

在 robots.txt 中為以下 user agent 標記(Meta-ExternalFetcher, meta-externalfetcher)加入 Disallow: /。如該爬蟲不遵守 robots.txt,請改為在 CDN 或反向代理伺服器比對 user agent,並在該處回傳 403。

封鎖 Meta-ExternalFetcher 會否影響我的搜尋排名?

封鎖 Meta-ExternalFetcher 後,用戶查詢你的網址時會收到錯誤訊息,而非摘要。這是客戶支援與聲譽方面的取捨,與訓練無關。

    Meta-ExternalFetcher(Meta):User Agent、IP 核實及 robots.txt | IPScanner