Crawlers de búsqueda con IA
meta-webindexer es un bot operado por Meta que indexa páginas para que un motor de respuestas con IA pueda citarlas. Según su documentación, "El rastreador Meta-WebIndexer recorre la web para mejorar la calidad de los resultados de búsqueda de Meta AI para los usuarios. No está documentado si respeta robots.txt, y una solicitud que dice ser de meta-webindexer puede comprobarse con el ASN que anuncia el operador.
La solicitud dice
"meta-webindexer"
Se comprueba con
ASN de Meta
Comprobación en directo
Pega la dirección de la línea del log. Se compara con lo que publica el operador.
Referencia
| User agent | meta-webindexerSolo token: busca coincidencias con la subcadena. |
|---|---|
| Operador | Meta |
| Finalidad | Crawlers de búsqueda con IA |
| Respeta robots.txt | Sin política |
| Método de verificación | ASN del operadorComprobación del ASN del operador Comprueba que la IP de origen pertenezca a AS32934. Meta no publica un archivo de rangos para cada bot. https://developers.facebook.com/docs/sharing/webmasters/web-crawlers/ |
| Patrón de rastreo | Desmesurado, más de 1 por segundo. |
| Tokens de robots.txt | meta-webindexer |
| Documentación del operador | https://developers.facebook.com/docs/sharing/webmasters/web-crawlers/ |
Según su documentación, "El rastreador Meta-WebIndexer recorre la web para mejorar la calidad de los resultados de búsqueda de Meta AI para los usuarios. Para ello, Meta analiza contenido en línea con el fin de mejorar la relevancia y la precisión de Meta AI. Permitir Meta-WebIndexer en tu archivo robots.txt nos ayuda a citar y enlazar tu contenido en las respuestas de Meta AI."
robots.txt
Pega una en la raíz de tu dominio. Las reglas se aplican por token.
User-agent: meta-webindexer
Disallow: /User-agent: meta-webindexer
Allow: /User-agent: meta-webindexer
Allow: /
Disallow: /account/
Disallow: /checkout/
Disallow: /searchCambia las rutas de Disallow para que coincidan con tus URLs.
Bloquear meta-webindexer saca el sitio del índice en el que se basan sus respuestas, así que deja de citarse allí. Si te importa el tráfico que llega desde respuestas de IA, bloquea mejor el rastreador de entrenamiento y deja este.
Crea un archivo para todos los rastreadoresFAQ
meta-webindexer es un bot operado por Meta que indexa páginas para que un motor de respuestas con IA pueda citarlas. Según su documentación, "El rastreador Meta-WebIndexer recorre la web para mejorar la calidad de los resultados de búsqueda de Meta AI para los usuarios. No está documentado si respeta robots.txt, y una solicitud que dice ser de meta-webindexer puede comprobarse con el ASN que anuncia el operador.
No está documentado. Ninguna declaración del operador indica si meta-webindexer lee robots.txt, así que añade la regla pero comprueba en tus registros que las solicitudes realmente se detienen.
Comprueba que la IP de origen pertenezca a AS32934. Meta no publica un archivo de rangos para cada bot. La referencia está publicada en https://developers.facebook.com/docs/sharing/webmasters/web-crawlers/.
Añade el token meta-webindexer a robots.txt con Disallow: /. Si el rastreador ignora robots.txt, filtra el user agent en tu CDN o proxy inverso y devuelve allí un 403.
Bloquear meta-webindexer saca el sitio del índice en el que se basan sus respuestas, así que deja de citarse allí. Si te importa el tráfico que llega desde respuestas de IA, bloquea mejor el rastreador de entrenamiento y deja este.