Crawlers de búsqueda con IA
Bingbot es un bot operado por Microsoft que indexa páginas para que un motor de respuestas con IA pueda citarlas. Bingbot indexa páginas para Bing Search. Respeta robots.txt, y una solicitud que dice ser de Bingbot puede comprobarse con un archivo publicado de rangos de IP o una consulta de DNS inverso confirmada con DNS directo.
La solicitud dice
"bingbot/2.0"
Se comprueba con
rangos de IP y DNS inverso de Microsoft
Comprobación en directo
Pega la dirección de la línea del log. Se compara con lo que publica el operador.
Referencia
| User agent | Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm) Chrome/W.X.Y.Z Safari/537.36 |
|---|---|
| Operador | Microsoft |
| Finalidad | Indexación de búsqueda que también alimenta las respuestas de Copilot |
| Respeta robots.txt | Respetafuente |
| Método de verificación | Rangos de IP + DNSRangos de IP publicados o DNS inverso El DNS inverso debe resolver a un host de search.msn.com y la resolución directa debe devolver la misma IP. Microsoft también publica los rangos en JSON. |
| Patrón de rastreo | Continuo, controlable con el control de rastreo de Bing Webmaster Tools. |
| Tokens de robots.txt | Bingbot |
| Documentación del operador | https://www.bing.com/webmasters/help/how-to-verify-bingbot-3905dc26 |
Bingbot indexa páginas para Bing Search. Ese mismo índice sirve de base a las respuestas de Microsoft Copilot, así que bloquear Bingbot elimina un sitio tanto de las citas de Copilot como de los resultados de Bing.
robots.txt
Pega una en la raíz de tu dominio. Las reglas se aplican por token.
User-agent: Bingbot
Disallow: /User-agent: Bingbot
Allow: /User-agent: Bingbot
Allow: /
Disallow: /account/
Disallow: /checkout/
Disallow: /searchCambia las rutas de Disallow para que coincidan con tus URLs.
Bloquear Bingbot saca el sitio del índice en el que se basan sus respuestas, así que deja de citarse allí. Si te importa el tráfico que llega desde respuestas de IA, bloquea mejor el rastreador de entrenamiento y deja este.
Crea un archivo para todos los rastreadoresFAQ
Bingbot es un bot operado por Microsoft que indexa páginas para que un motor de respuestas con IA pueda citarlas. Bingbot indexa páginas para Bing Search. Respeta robots.txt, y una solicitud que dice ser de Bingbot puede comprobarse con un archivo publicado de rangos de IP o una consulta de DNS inverso confirmada con DNS directo.
Sí. El operador documenta que Bingbot lee robots.txt y respeta las reglas Disallow de su propio token. Las reglas se aplican la próxima vez que descarga el archivo, lo que puede ocurrir horas o días después de publicarlas.
El DNS inverso debe resolver a un host de search.msn.com y la resolución directa debe devolver la misma IP. Microsoft también publica los rangos en JSON. La referencia está publicada en https://www.bing.com/toolbox/bingbot.json.
Añade el token Bingbot a robots.txt con Disallow: /. Si el rastreador ignora robots.txt, filtra el user agent en tu CDN o proxy inverso y devuelve allí un 403.
Bloquear Bingbot saca el sitio del índice en el que se basan sus respuestas, así que deja de citarse allí. Si te importa el tráfico que llega desde respuestas de IA, bloquea mejor el rastreador de entrenamiento y deja este.