Crawlers de entrenamiento
Meta-ExternalAgent es un bot operado por Meta que recopila páginas para entrenar modelos de IA. Meta-ExternalAgent es un rastreador web que usa Meta para descargar datos de entrenamiento para sus modelos de IA y mejorar sus productos indexando contenido directamente. Respeta robots.txt, y una solicitud que dice ser de Meta-ExternalAgent puede comprobarse con el ASN que anuncia el operador.
La solicitud dice
"Meta-ExternalAgent"
Se comprueba con
ASN de Meta
Comprobación en directo
Pega la dirección de la línea del log. Se compara con lo que publica el operador.
Referencia
| User agent | Meta-ExternalAgentSolo token: busca coincidencias con la subcadena. |
|---|---|
| Operador | Meta |
| Finalidad | Crawlers de entrenamiento |
| Respeta robots.txt | Respetafuente |
| Método de verificación | ASN del operadorComprobación del ASN del operador Meta no publica un archivo de rangos por bot. En la práctica, se comprueba si la IP de origen la anuncia AS32934 (Facebook), algo que puedes consultar en un registro de enrutamiento. https://developers.facebook.com/docs/sharing/webmasters/web-crawlers/ |
| Patrón de rastreo | No publicado |
| Tokens de robots.txt | Meta-ExternalAgentmeta-externalagent |
| Documentación del operador | https://developers.facebook.com/docs/sharing/webmasters/web-crawlers/ |
Meta-ExternalAgent es un rastreador web que usa Meta para descargar datos de entrenamiento para sus modelos de IA y mejorar sus productos indexando contenido directamente.
robots.txt
Pega una en la raíz de tu dominio. Las reglas se aplican por token.
User-agent: Meta-ExternalAgent
User-agent: meta-externalagent
Disallow: /User-agent: Meta-ExternalAgent
User-agent: meta-externalagent
Allow: /User-agent: Meta-ExternalAgent
User-agent: meta-externalagent
Allow: /
Disallow: /account/
Disallow: /checkout/
Disallow: /searchCambia las rutas de Disallow para que coincidan con tus URLs.
Bloquear Meta-ExternalAgent deja tus páginas fuera del próximo entrenamiento. No elimina nada de lo ya recopilado y no afecta al posicionamiento del sitio en la búsqueda normal.
Crea un archivo para todos los rastreadoresFAQ
Meta-ExternalAgent es un bot operado por Meta que recopila páginas para entrenar modelos de IA. Meta-ExternalAgent es un rastreador web que usa Meta para descargar datos de entrenamiento para sus modelos de IA y mejorar sus productos indexando contenido directamente. Respeta robots.txt, y una solicitud que dice ser de Meta-ExternalAgent puede comprobarse con el ASN que anuncia el operador.
Sí. El operador documenta que Meta-ExternalAgent lee robots.txt y respeta las reglas Disallow de su propio token. Las reglas se aplican la próxima vez que descarga el archivo, lo que puede ocurrir horas o días después de publicarlas.
Meta no publica un archivo de rangos por bot. En la práctica, se comprueba si la IP de origen la anuncia AS32934 (Facebook), algo que puedes consultar en un registro de enrutamiento. La referencia está publicada en https://developers.facebook.com/docs/sharing/webmasters/web-crawlers/.
Añade estos tokens de user agent (Meta-ExternalAgent, meta-externalagent) a robots.txt con Disallow: /. Si el rastreador ignora robots.txt, filtra el user agent en tu CDN o proxy inverso y devuelve allí un 403.
Bloquear Meta-ExternalAgent deja tus páginas fuera del próximo entrenamiento. No elimina nada de lo ya recopilado y no afecta al posicionamiento del sitio en la búsqueda normal.