Crawlers de búsqueda con IA
Amazonbot es un bot operado por Amazon que indexa páginas para que un motor de respuestas con IA pueda citarlas. Incluye referencias al sitio web rastreado cuando muestra respuestas a través de Alexa; no detalla claramente otros usos. Respeta robots.txt, y una solicitud que dice ser de Amazonbot puede comprobarse con una consulta de DNS inverso confirmada con DNS directo.
La solicitud dice
"Amazonbot/0.1"
Se comprueba con
DNS inverso de Amazon
Comprobación en directo
Pega la dirección de la línea del log. Se compara con lo que publica el operador.
Referencia
| User agent | Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/119.0.0.0 Safari/537.36 (compatible; Amazonbot/0.1; +https://developer.amazon.com/support/amazonbot) |
|---|---|
| Operador | Amazon |
| Finalidad | Mejora del servicio y respuestas para los usuarios de Alexa. |
| Respeta robots.txt | Respeta |
| Método de verificación | DNS inversoDNS inverso con confirmación directa Verifícalo con una búsqueda inversa: el registro PTR debe resolver bajo el dominio del rastreador de Amazon, y una búsqueda directa de ese nombre de host debe devolver la IP original. |
| Patrón de rastreo | No publicado |
| Tokens de robots.txt | Amazonbot |
| Documentación del operador | https://developer.amazon.com/amazonbot |
Incluye referencias al sitio web rastreado cuando muestra respuestas a través de Alexa; no detalla claramente otros usos.
robots.txt
Pega una en la raíz de tu dominio. Las reglas se aplican por token.
User-agent: Amazonbot
Disallow: /User-agent: Amazonbot
Allow: /User-agent: Amazonbot
Allow: /
Disallow: /account/
Disallow: /checkout/
Disallow: /searchCambia las rutas de Disallow para que coincidan con tus URLs.
Bloquear Amazonbot saca el sitio del índice en el que se basan sus respuestas, así que deja de citarse allí. Si te importa el tráfico que llega desde respuestas de IA, bloquea mejor el rastreador de entrenamiento y deja este.
Crea un archivo para todos los rastreadoresFAQ
Amazonbot es un bot operado por Amazon que indexa páginas para que un motor de respuestas con IA pueda citarlas. Incluye referencias al sitio web rastreado cuando muestra respuestas a través de Alexa; no detalla claramente otros usos. Respeta robots.txt, y una solicitud que dice ser de Amazonbot puede comprobarse con una consulta de DNS inverso confirmada con DNS directo.
Sí. El operador documenta que Amazonbot lee robots.txt y respeta las reglas Disallow de su propio token. Las reglas se aplican la próxima vez que descarga el archivo, lo que puede ocurrir horas o días después de publicarlas.
Verifícalo con una búsqueda inversa: el registro PTR debe resolver bajo el dominio del rastreador de Amazon, y una búsqueda directa de ese nombre de host debe devolver la IP original. La referencia está publicada en https://developer.amazon.com/amazonbot.
Añade el token Amazonbot a robots.txt con Disallow: /. Si el rastreador ignora robots.txt, filtra el user agent en tu CDN o proxy inverso y devuelve allí un 403.
Bloquear Amazonbot saca el sitio del índice en el que se basan sus respuestas, así que deja de citarse allí. Si te importa el tráfico que llega desde respuestas de IA, bloquea mejor el rastreador de entrenamiento y deja este.