Crawlers de entrenamiento
FacebookBot es un bot operado por Meta/Facebook que recopila páginas para entrenar modelos de IA. Oficialmente se usa para entrenar la "tecnología de reconocimiento de voz" de Meta; no se sabe si se usa en concreto para entrenar Meta AI. Respeta robots.txt, y una solicitud que dice ser de FacebookBot puede comprobarse con el ASN que anuncia el operador.
La solicitud dice
"FacebookBot"
Se comprueba con
ASN de Meta/Facebook
Comprobación en directo
Pega la dirección de la línea del log. Se compara con lo que publica el operador.
Referencia
| User agent | FacebookBotSolo token: busca coincidencias con la subcadena. |
|---|---|
| Operador | Meta/Facebook |
| Finalidad | Entrenamiento de modelos de lenguaje |
| Respeta robots.txt | Respetafuente |
| Método de verificación | ASN del operadorComprobación del ASN del operador Comprueba que la IP de origen pertenezca a AS32934. Meta no publica un archivo de rangos para cada bot. https://developers.facebook.com/docs/sharing/webmasters/web-crawlers/ |
| Patrón de rastreo | Hasta 1 página por segundo |
| Tokens de robots.txt | FacebookBot |
| Documentación del operador | https://developers.facebook.com/docs/sharing/webmasters/web-crawlers/ |
Oficialmente se usa para entrenar la "tecnología de reconocimiento de voz" de Meta; no se sabe si se usa en concreto para entrenar Meta AI.
robots.txt
Pega una en la raíz de tu dominio. Las reglas se aplican por token.
User-agent: FacebookBot
Disallow: /User-agent: FacebookBot
Allow: /User-agent: FacebookBot
Allow: /
Disallow: /account/
Disallow: /checkout/
Disallow: /searchCambia las rutas de Disallow para que coincidan con tus URLs.
Bloquear FacebookBot deja tus páginas fuera del próximo entrenamiento. No elimina nada de lo ya recopilado y no afecta al posicionamiento del sitio en la búsqueda normal.
Crea un archivo para todos los rastreadoresFAQ
FacebookBot es un bot operado por Meta/Facebook que recopila páginas para entrenar modelos de IA. Oficialmente se usa para entrenar la "tecnología de reconocimiento de voz" de Meta; no se sabe si se usa en concreto para entrenar Meta AI. Respeta robots.txt, y una solicitud que dice ser de FacebookBot puede comprobarse con el ASN que anuncia el operador.
Sí. El operador documenta que FacebookBot lee robots.txt y respeta las reglas Disallow de su propio token. Las reglas se aplican la próxima vez que descarga el archivo, lo que puede ocurrir horas o días después de publicarlas.
Comprueba que la IP de origen pertenezca a AS32934. Meta no publica un archivo de rangos para cada bot. La referencia está publicada en https://developers.facebook.com/docs/sharing/webmasters/web-crawlers/.
Añade el token FacebookBot a robots.txt con Disallow: /. Si el rastreador ignora robots.txt, filtra el user agent en tu CDN o proxy inverso y devuelve allí un 403.
Bloquear FacebookBot deja tus páginas fuera del próximo entrenamiento. No elimina nada de lo ya recopilado y no afecta al posicionamiento del sitio en la búsqueda normal.