Robots de recherche IA
Amazonbot est un bot exploité par Amazon qui indexe des pages afin qu'un moteur de réponses IA puisse les citer. Cite le site exploré lorsqu'il fournit des réponses via Alexa ; les autres utilisations ne sont pas clairement précisées. Il respecte le fichier robots.txt. Moyen de vérifier une requête se réclamant de Amazonbot : une résolution DNS inverse confirmée par une résolution directe.
La requête annonce
"Amazonbot/0.1"
Comparé à
DNS inverse (Amazon)
Vérification en direct
Collez l'adresse figurant dans la ligne de journal. Elle est comparée aux informations publiées par l'opérateur.
Référence
| User agent | Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/119.0.0.0 Safari/537.36 (compatible; Amazonbot/0.1; +https://developer.amazon.com/support/amazonbot) |
|---|---|
| Opérateur | Amazon |
| Finalité | Amélioration du service et fourniture de réponses aux utilisateurs d'Alexa. |
| Respecte robots.txt | Respecte |
| Méthode de vérification | DNS inverseDNS inverse, confirmé par résolution directe Vérifiez par une recherche inverse : l'enregistrement PTR doit pointer vers le domaine des robots d'Amazon, et une recherche directe sur ce nom d'hôte doit renvoyer l'IP d'origine. |
| Comportement d'exploration | Non publié |
| Jetons robots.txt | Amazonbot |
| Documentation de l'opérateur | https://developer.amazon.com/amazonbot |
Cite le site exploré lorsqu'il fournit des réponses via Alexa ; les autres utilisations ne sont pas clairement précisées.
robots.txt
Placez l'un de ces fichiers à la racine de votre domaine. Les règles s'appliquent jeton par jeton.
User-agent: Amazonbot
Disallow: /User-agent: Amazonbot
Allow: /User-agent: Amazonbot
Allow: /
Disallow: /account/
Disallow: /checkout/
Disallow: /searchModifiez les chemins Disallow pour qu'ils correspondent à vos propres URL.
Bloquer Amazonbot retire le site de l'index qui alimente ses réponses : il n'y sera plus cité. Si le trafic provenant des réponses IA compte pour vous, bloquez plutôt le crawler d'entraînement et laissez celui-ci accéder au site.
Générer un fichier pour tous les robotsFAQ
Amazonbot est un bot exploité par Amazon qui indexe des pages afin qu'un moteur de réponses IA puisse les citer. Cite le site exploré lorsqu'il fournit des réponses via Alexa ; les autres utilisations ne sont pas clairement précisées. Il respecte le fichier robots.txt. Moyen de vérifier une requête se réclamant de Amazonbot : une résolution DNS inverse confirmée par une résolution directe.
Oui. L'opérateur indique que Amazonbot lit le fichier robots.txt et respecte les règles Disallow visant son propre jeton. Les règles s'appliquent lors de la prochaine récupération du fichier, ce qui peut prendre plusieurs heures ou plusieurs jours après leur publication.
Vérifiez par une recherche inverse : l'enregistrement PTR doit pointer vers le domaine des robots d'Amazon, et une recherche directe sur ce nom d'hôte doit renvoyer l'IP d'origine. La référence est publiée sur https://developer.amazon.com/amazonbot.
Ajoutez le jeton Amazonbot au fichier robots.txt avec Disallow: /. Si le crawler ignore robots.txt, filtrez le user agent au niveau de votre CDN ou de votre proxy inverse et renvoyez une erreur 403.
Bloquer Amazonbot retire le site de l'index qui alimente ses réponses : il n'y sera plus cité. Si le trafic provenant des réponses IA compte pour vous, bloquez plutôt le crawler d'entraînement et laissez celui-ci accéder au site.