訓練用爬蟲
Meta-ExternalAgent 是由 Meta 營運的機械人，會收集用於訓練 AI 模型的網頁。Meta-ExternalAgent 是 Meta 所用的網絡爬蟲，用於下載其 AI 模型的訓練資料，並透過直接索引內容改善其產品。此機械人遵守 robots.txt；如請求聲稱來自 Meta-ExternalAgent，可用的核實依據為營運者公布的 ASN。
請求聲稱
"Meta-ExternalAgent"
核對依據
Meta 的ASN
即時檢查
貼上日誌記錄中的地址，系統會與營運者公布的資料核對。
參考資料
| User agent | Meta-ExternalAgent僅為標記：以子字串比對。 |
|---|---|
| 營運者 | Meta |
| 用途 | 訓練用爬蟲 |
| 遵守 robots.txt | 遵守來源 |
| 驗證方法 | 營運商 ASN營運者 ASN 檢查 Meta 並無發佈個別機械人的 IP 範圍檔案。實際的檢查方法是確認來源 IP 是否由 AS32934（Facebook）宣告，這可透過路由登記資料庫查詢。 https://developers.facebook.com/docs/sharing/webmasters/web-crawlers/ |
| 爬取模式 | 未公布 |
| robots.txt 標記 | Meta-ExternalAgentmeta-externalagent |
| 營運者文件 | https://developers.facebook.com/docs/sharing/webmasters/web-crawlers/ |
Meta-ExternalAgent 是 Meta 所用的網絡爬蟲，用於下載其 AI 模型的訓練資料，並透過直接索引內容改善其產品。
robots.txt
選擇其中一項，貼到網域根目錄。規則按標記分別設定。
User-agent: Meta-ExternalAgent
User-agent: meta-externalagent
Disallow: /User-agent: Meta-ExternalAgent
User-agent: meta-externalagent
Allow: /User-agent: Meta-ExternalAgent
User-agent: meta-externalagent
Allow: /
Disallow: /account/
Disallow: /checkout/
Disallow: /search請修改 Disallow 路徑，使其符合你的網址。
FAQ
Meta-ExternalAgent 是由 Meta 營運的機械人，會收集用於訓練 AI 模型的網頁。Meta-ExternalAgent 是 Meta 所用的網絡爬蟲，用於下載其 AI 模型的訓練資料，並透過直接索引內容改善其產品。此機械人遵守 robots.txt；如請求聲稱來自 Meta-ExternalAgent，可用的核實依據為營運者公布的 ASN。
是。營運者的文件說明 Meta-ExternalAgent 會讀取 robots.txt，並遵守針對其標記的 Disallow 規則。規則會在下次擷取該檔案時生效，可能是發布後數小時或數天。
Meta 並無發佈個別機械人的 IP 範圍檔案。實際的檢查方法是確認來源 IP 是否由 AS32934（Facebook）宣告，這可透過路由登記資料庫查詢。參考資料發布於 https://developers.facebook.com/docs/sharing/webmasters/web-crawlers/。
在 robots.txt 中為以下 user agent 標記（Meta-ExternalAgent, meta-externalagent）加入 Disallow: /。如該爬蟲不遵守 robots.txt，請改為在 CDN 或反向代理伺服器比對 user agent，並在該處回傳 403。
封鎖 Meta-ExternalAgent 可使你的網頁不被納入下一輪訓練。此舉不會刪除已收集的內容，亦不會影響網站在一般搜尋中的排名。