助手抓取器
Meta-ExternalFetcher 是由 Meta 运营的机器人，它会按需为 AI 助手抓取单个网页。Meta-ExternalFetcher 由 Meta AI 产品在响应用户提示、需要获取单个链接时调用。文档说明它不遵守 robots.txt，自称 Meta-ExternalFetcher 的请求可通过以下方式核验：运营方公布的 ASN。
请求声明
"Meta-ExternalFetcher"
核验依据
Meta 的ASN
实时检查
粘贴日志中的地址，系统会将其与运营方公布的信息进行比对。
参考
| User agent | Meta-ExternalFetcher仅为标识符：按子串匹配。 |
|---|---|
| 运营方 | Meta |
| 用途 | 助手抓取器 |
| 是否遵守 robots.txt | 忽略来源 |
| 验证方法 | 运营方 ASN运营方 ASN 核验 与其他 Meta 代理一样检查 AS32934。该代理获取用户分享给 Meta AI 助手的单个 URL。 https://developers.facebook.com/docs/sharing/webmasters/web-crawlers/ |
| 抓取模式 | 未公布 |
| robots.txt 标识符 | Meta-ExternalFetchermeta-externalfetcher |
| 运营方文档 | https://developers.facebook.com/docs/sharing/webmasters/web-crawlers/ |
Meta-ExternalFetcher 由 Meta AI 产品在响应用户提示、需要获取单个链接时调用。
robots.txt
据记录，Meta-ExternalFetcher 不遵守 robots.txt。请同时在 CDN 上执行屏蔽。
User-agent: Meta-ExternalFetcher
User-agent: meta-externalfetcher
Disallow: /User-agent: Meta-ExternalFetcher
User-agent: meta-externalfetcher
Allow: /User-agent: Meta-ExternalFetcher
User-agent: meta-externalfetcher
Allow: /
Disallow: /account/
Disallow: /checkout/
Disallow: /search请修改 Disallow 路径，使其与你自己的 URL 一致。
FAQ
Meta-ExternalFetcher 是由 Meta 运营的机器人，它会按需为 AI 助手抓取单个网页。Meta-ExternalFetcher 由 Meta AI 产品在响应用户提示、需要获取单个链接时调用。文档说明它不遵守 robots.txt，自称 Meta-ExternalFetcher 的请求可通过以下方式核验：运营方公布的 ASN。
否。文档说明 Meta-ExternalFetcher 不遵守 robots.txt，因此 Disallow 规则无法阻止它。需要在边缘按 user agent 或来源地址进行屏蔽。
与其他 Meta 代理一样检查 AS32934。该代理获取用户分享给 Meta AI 助手的单个 URL。参考资料发布于 https://developers.facebook.com/docs/sharing/webmasters/web-crawlers/。
在 robots.txt 中为这些 user agent 标识（Meta-ExternalFetcher, meta-externalfetcher）添加 Disallow: /。如果该爬虫不遵守 robots.txt，请在 CDN 或反向代理上匹配其 user agent 并返回 403。
屏蔽 Meta-ExternalFetcher 后，用户询问你的某个 URL 时将收到错误，而不是摘要。这是在用户支持和声誉之间的取舍，与训练无关。