Fetchers de asistentes
Meta-ExternalFetcher es un bot operado por Meta que descarga páginas sueltas bajo demanda para un asistente de IA. Los productos de Meta AI envían Meta-ExternalFetcher en respuesta a las peticiones de los usuarios cuando necesitan obtener un enlace concreto. Está documentado que no respeta robots.txt, y una solicitud que dice ser de Meta-ExternalFetcher puede comprobarse con el ASN que anuncia el operador.
La solicitud dice
"Meta-ExternalFetcher"
Se comprueba con
ASN de Meta
Comprobación en directo
Pega la dirección de la línea del log. Se compara con lo que publica el operador.
Referencia
| User agent | Meta-ExternalFetcherSolo token: busca coincidencias con la subcadena. |
|---|---|
| Operador | Meta |
| Finalidad | Fetchers de asistentes |
| Respeta robots.txt | Ignorafuente |
| Método de verificación | ASN del operadorComprobación del ASN del operador La misma comprobación de AS32934 que con los demás agentes de Meta. Este obtiene una única URL que un usuario ha compartido con un asistente de Meta AI. https://developers.facebook.com/docs/sharing/webmasters/web-crawlers/ |
| Patrón de rastreo | No publicado |
| Tokens de robots.txt | Meta-ExternalFetchermeta-externalfetcher |
| Documentación del operador | https://developers.facebook.com/docs/sharing/webmasters/web-crawlers/ |
Los productos de Meta AI envían Meta-ExternalFetcher en respuesta a las peticiones de los usuarios cuando necesitan obtener un enlace concreto.
robots.txt
Según la documentación, Meta-ExternalFetcher ignora robots.txt. Aplica también el bloqueo en tu CDN.
User-agent: Meta-ExternalFetcher
User-agent: meta-externalfetcher
Disallow: /User-agent: Meta-ExternalFetcher
User-agent: meta-externalfetcher
Allow: /User-agent: Meta-ExternalFetcher
User-agent: meta-externalfetcher
Allow: /
Disallow: /account/
Disallow: /checkout/
Disallow: /searchCambia las rutas de Disallow para que coincidan con tus URLs.
Bloquear Meta-ExternalFetcher significa que quien pregunte por una de tus URL recibirá un error en lugar de un resumen. Es una decisión que afecta a la atención al usuario y a la reputación, no al entrenamiento.
Crea un archivo para todos los rastreadoresFAQ
Meta-ExternalFetcher es un bot operado por Meta que descarga páginas sueltas bajo demanda para un asistente de IA. Los productos de Meta AI envían Meta-ExternalFetcher en respuesta a las peticiones de los usuarios cuando necesitan obtener un enlace concreto. Está documentado que no respeta robots.txt, y una solicitud que dice ser de Meta-ExternalFetcher puede comprobarse con el ASN que anuncia el operador.
No. Está documentado que Meta-ExternalFetcher no respeta robots.txt, así que una línea Disallow no lo detendrá. Tienes que bloquearlo en el borde, por user agent o por dirección de origen.
La misma comprobación de AS32934 que con los demás agentes de Meta. Este obtiene una única URL que un usuario ha compartido con un asistente de Meta AI. La referencia está publicada en https://developers.facebook.com/docs/sharing/webmasters/web-crawlers/.
Añade estos tokens de user agent (Meta-ExternalFetcher, meta-externalfetcher) a robots.txt con Disallow: /. Si el rastreador ignora robots.txt, filtra el user agent en tu CDN o proxy inverso y devuelve allí un 403.
Bloquear Meta-ExternalFetcher significa que quien pregunte por una de tus URL recibirá un error en lugar de un resumen. Es una decisión que afecta a la atención al usuario y a la reputación, no al entrenamiento.