Otros crawlers automatizados
facebookexternalhit es un bot operado por Meta/Facebook que rastrea la web de forma automática. Ten en cuenta que excluir FacebookExternalHit impedirá incorporar datos de OpenGraph al compartir en redes sociales, incluidos los enlaces enriquecidos en la app Mensajes de Apple. Está documentado que no respeta robots.txt, y una solicitud que dice ser de facebookexternalhit puede comprobarse con el ASN que anuncia el operador.
La solicitud dice
"facebookexternalhit"
Se comprueba con
ASN de Meta/Facebook
Comprobación en directo
Pega la dirección de la línea del log. Se compara con lo que publica el operador.
Referencia
| User agent | facebookexternalhitSolo token: busca coincidencias con la subcadena. |
|---|---|
| Operador | Meta/Facebook |
| Finalidad | En teoría solo sirve para compartir, pero probablemente también se usa como rastreador de IA |
| Respeta robots.txt | Ignorafuente |
| Método de verificación | ASN del operadorComprobación del ASN del operador El extractor de vistas previas de enlaces. Existe desde mucho antes que los agentes de IA y es el token de Meta que más se suplanta, así que comprueba AS32934 antes de fiarte de él. https://developers.facebook.com/docs/sharing/webmasters/web-crawlers/ |
| Patrón de rastreo | No publicado |
| Tokens de robots.txt | facebookexternalhit |
| Documentación del operador | https://developers.facebook.com/docs/sharing/webmasters/web-crawlers/ |
Ten en cuenta que excluir FacebookExternalHit impedirá incorporar datos de OpenGraph al compartir en redes sociales, incluidos los enlaces enriquecidos en la app Mensajes de Apple. Según Meta, su finalidad es "rastrear el contenido de una app o un sitio web que se ha compartido en alguna de las apps de la familia de Meta…". Sin embargo, consulta los debates aquí y aquí, que aportan pruebas de lo contrario.
robots.txt
Según la documentación, facebookexternalhit ignora robots.txt. Aplica también el bloqueo en tu CDN.
User-agent: facebookexternalhit
Disallow: /User-agent: facebookexternalhit
Allow: /User-agent: facebookexternalhit
Allow: /
Disallow: /account/
Disallow: /checkout/
Disallow: /searchCambia las rutas de Disallow para que coincidan con tus URLs.
Bloquear facebookexternalhit detiene este token concreto. Revisa después tus registros, porque los operadores que ignoran robots.txt suelen volver con otro nombre.
Crea un archivo para todos los rastreadoresFAQ
facebookexternalhit es un bot operado por Meta/Facebook que rastrea la web de forma automática. Ten en cuenta que excluir FacebookExternalHit impedirá incorporar datos de OpenGraph al compartir en redes sociales, incluidos los enlaces enriquecidos en la app Mensajes de Apple. Está documentado que no respeta robots.txt, y una solicitud que dice ser de facebookexternalhit puede comprobarse con el ASN que anuncia el operador.
No. Está documentado que facebookexternalhit no respeta robots.txt, así que una línea Disallow no lo detendrá. Tienes que bloquearlo en el borde, por user agent o por dirección de origen.
El extractor de vistas previas de enlaces. Existe desde mucho antes que los agentes de IA y es el token de Meta que más se suplanta, así que comprueba AS32934 antes de fiarte de él. La referencia está publicada en https://developers.facebook.com/docs/sharing/webmasters/web-crawlers/.
Añade el token facebookexternalhit a robots.txt con Disallow: /. Si el rastreador ignora robots.txt, filtra el user agent en tu CDN o proxy inverso y devuelve allí un 403.
Bloquear facebookexternalhit detiene este token concreto. Revisa después tus registros, porque los operadores que ignoran robots.txt suelen volver con otro nombre.