AI-zoekcrawlers
Amazonbot is een bot van Amazon die pagina's indexeert zodat een AI-antwoordmachine ernaar kan verwijzen. Verwijst naar de gecrawlde website wanneer Alexa antwoorden geeft; ander gebruik wordt niet duidelijk beschreven. Hij respecteert robots.txt, en een verzoek dat zich uitgeeft als Amazonbot kun je controleren aan de hand van een reverse DNS-lookup met forward-bevestiging.
Verzoek meldt
"Amazonbot/0.1"
Gecontroleerd aan de hand van
reverse DNS van Amazon
Live check
Plak het adres uit de logregel. Het wordt gecontroleerd aan de hand van wat de beheerder publiceert.
Referentie
| User agent | Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/119.0.0.0 Safari/537.36 (compatible; Amazonbot/0.1; +https://developer.amazon.com/support/amazonbot) |
|---|---|
| Beheerder | Amazon |
| Doel | Verbetering van de dienst en het mogelijk maken van antwoorden voor Alexa-gebruikers. |
| Respecteert robots.txt | Respecteert |
| Verificatiemethode | Reverse DNSReverse DNS, forward bevestigd Controleer met een reverse lookup: het PTR-record moet verwijzen naar een naam onder het crawlerdomein van Amazon, en een forward lookup van die hostnaam moet het oorspronkelijke IP opleveren. |
| Crawlpatroon | Niet gepubliceerd |
| robots.txt-tokens | Amazonbot |
| Documentatie van de beheerder | https://developer.amazon.com/amazonbot |
Verwijst naar de gecrawlde website wanneer Alexa antwoorden geeft; ander gebruik wordt niet duidelijk beschreven.
robots.txt
Plak er een in de root van je domein. Regels gelden per token.
User-agent: Amazonbot
Disallow: /User-agent: Amazonbot
Allow: /User-agent: Amazonbot
Allow: /
Disallow: /account/
Disallow: /checkout/
Disallow: /searchPas de Disallow-paden aan zodat ze overeenkomen met je eigen URL's.
Als je Amazonbot blokkeert, verdwijnt je site uit de index achter de antwoorden, zodat er niet meer naar je wordt verwezen. Is verkeer via AI-antwoorden belangrijk voor je, blokkeer dan de trainingscrawler en laat deze met rust.
Maak een bestand voor alle crawlersFAQ
Amazonbot is een bot van Amazon die pagina's indexeert zodat een AI-antwoordmachine ernaar kan verwijzen. Verwijst naar de gecrawlde website wanneer Alexa antwoorden geeft; ander gebruik wordt niet duidelijk beschreven. Hij respecteert robots.txt, en een verzoek dat zich uitgeeft als Amazonbot kun je controleren aan de hand van een reverse DNS-lookup met forward-bevestiging.
Ja. De beheerder documenteert dat Amazonbot robots.txt leest en Disallow-regels voor het eigen token volgt. Regels gaan in zodra het bestand opnieuw wordt opgehaald, en dat kan uren of dagen na publicatie zijn.
Controleer met een reverse lookup: het PTR-record moet verwijzen naar een naam onder het crawlerdomein van Amazon, en een forward lookup van die hostnaam moet het oorspronkelijke IP opleveren. De referentie is gepubliceerd op https://developer.amazon.com/amazonbot.
Voeg het token Amazonbot toe aan robots.txt met Disallow: /. Negeert de crawler robots.txt, filter dan op de user agent in je CDN of reverse proxy en geef daar een 403 terug.
Als je Amazonbot blokkeert, verdwijnt je site uit de index achter de antwoorden, zodat er niet meer naar je wordt verwezen. Is verkeer via AI-antwoorden belangrijk voor je, blokkeer dan de trainingscrawler en laat deze met rust.