Crawlers de búsqueda con IA
Amzn-SearchBot es un bot operado por Amazon que indexa páginas para que un motor de respuestas con IA pueda citarlas. Amzn-SearchBot rastrea páginas para las funciones de búsqueda de compras y del asistente de Amazon. No está documentado si respeta robots.txt, y una solicitud que dice ser de Amzn-SearchBot puede comprobarse con una consulta de DNS inverso confirmada con DNS directo.
La solicitud dice
"Amzn-SearchBot"
Se comprueba con
DNS inverso de Amazon
Comprobación en directo
Pega la dirección de la línea del log. Se compara con lo que publica el operador.
Referencia
| User agent | Amzn-SearchBotSolo token: busca coincidencias con la subcadena. |
|---|---|
| Operador | Amazon |
| Finalidad | Crawlers de búsqueda con IA |
| Respeta robots.txt | Sin política |
| Método de verificación | DNS inversoDNS inverso con confirmación directa Forma parte de la familia de rastreadores de Amazon documentada junto a Amazonbot. Verifícalo con la misma comprobación DNS: primero inversa y después directa. |
| Patrón de rastreo | No publicado |
| Tokens de robots.txt | Amzn-SearchBot |
| Documentación del operador | No hay ninguna publicada |
Amzn-SearchBot rastrea páginas para las funciones de búsqueda de compras y del asistente de Amazon. Está documentado junto a Amazonbot y se verifica de la misma forma.
robots.txt
Pega una en la raíz de tu dominio. Las reglas se aplican por token.
User-agent: Amzn-SearchBot
Disallow: /User-agent: Amzn-SearchBot
Allow: /User-agent: Amzn-SearchBot
Allow: /
Disallow: /account/
Disallow: /checkout/
Disallow: /searchCambia las rutas de Disallow para que coincidan con tus URLs.
Bloquear Amzn-SearchBot saca el sitio del índice en el que se basan sus respuestas, así que deja de citarse allí. Si te importa el tráfico que llega desde respuestas de IA, bloquea mejor el rastreador de entrenamiento y deja este.
Crea un archivo para todos los rastreadoresFAQ
Amzn-SearchBot es un bot operado por Amazon que indexa páginas para que un motor de respuestas con IA pueda citarlas. Amzn-SearchBot rastrea páginas para las funciones de búsqueda de compras y del asistente de Amazon. No está documentado si respeta robots.txt, y una solicitud que dice ser de Amzn-SearchBot puede comprobarse con una consulta de DNS inverso confirmada con DNS directo.
No está documentado. Ninguna declaración del operador indica si Amzn-SearchBot lee robots.txt, así que añade la regla pero comprueba en tus registros que las solicitudes realmente se detienen.
Forma parte de la familia de rastreadores de Amazon documentada junto a Amazonbot. Verifícalo con la misma comprobación DNS: primero inversa y después directa. La referencia está publicada en https://developer.amazon.com/amazonbot.
Añade el token Amzn-SearchBot a robots.txt con Disallow: /. Si el rastreador ignora robots.txt, filtra el user agent en tu CDN o proxy inverso y devuelve allí un 403.
Bloquear Amzn-SearchBot saca el sitio del índice en el que se basan sus respuestas, así que deja de citarse allí. Si te importa el tráfico que llega desde respuestas de IA, bloquea mejor el rastreador de entrenamiento y deja este.