AI-zoekcrawlers
Googlebot is een bot van Google die pagina's indexeert zodat een AI-antwoordmachine ernaar kan verwijzen. Googlebot is de crawler achter Google Search. Hij respecteert robots.txt, en een verzoek dat zich uitgeeft als Googlebot kun je controleren aan de hand van een gepubliceerd bestand met IP-ranges of een reverse DNS-lookup met forward-bevestiging.
Verzoek meldt
"Googlebot/2.1"
Gecontroleerd aan de hand van
IP-bereiken en reverse DNS van Google
Live check
Plak het adres uit de logregel. Het wordt gecontroleerd aan de hand van wat de beheerder publiceert.
Referentie
| User agent | Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html) |
|---|---|
| Beheerder | |
| Doel | Zoekindexering die ook AI Overviews voedt |
| Respecteert robots.txt | Respecteertbron |
| Verificatiemethode | IP-bereiken + DNSGepubliceerde IP-ranges of reverse DNS Twee opties: reverse DNS op het bron-IP moet een host onder googlebot.com of google.com opleveren en een forward lookup van die host moet hetzelfde IP teruggeven, of het IP moet voorkomen in googlebot.json. https://developers.google.com/static/search/apis/ipranges/googlebot.json |
| Crawlpatroon | Continu, met een snelheid die per site wordt aangepast. |
| robots.txt-tokens | Googlebot |
| Documentatie van de beheerder | https://developers.google.com/search/docs/crawling-indexing/verifying-googlebot |
Googlebot is de crawler achter Google Search. Het is geen crawler voor AI-training, maar pagina's die hij indexeert kunnen worden samengevat in AI Overviews en gebruikt voor grounding in Gemini. Google-Extended blokkeren zonder Googlebot te blokkeren is daarom de gebruikelijke manier om in Search te blijven en je af te melden voor training.
robots.txt
Plak er een in de root van je domein. Regels gelden per token.
User-agent: Googlebot
Disallow: /User-agent: Googlebot
Allow: /User-agent: Googlebot
Allow: /
Disallow: /account/
Disallow: /checkout/
Disallow: /searchPas de Disallow-paden aan zodat ze overeenkomen met je eigen URL's.
Als je Googlebot blokkeert, verdwijnt je site uit de index achter de antwoorden, zodat er niet meer naar je wordt verwezen. Is verkeer via AI-antwoorden belangrijk voor je, blokkeer dan de trainingscrawler en laat deze met rust.
Maak een bestand voor alle crawlersFAQ
Googlebot is een bot van Google die pagina's indexeert zodat een AI-antwoordmachine ernaar kan verwijzen. Googlebot is de crawler achter Google Search. Hij respecteert robots.txt, en een verzoek dat zich uitgeeft als Googlebot kun je controleren aan de hand van een gepubliceerd bestand met IP-ranges of een reverse DNS-lookup met forward-bevestiging.
Ja. De beheerder documenteert dat Googlebot robots.txt leest en Disallow-regels voor het eigen token volgt. Regels gaan in zodra het bestand opnieuw wordt opgehaald, en dat kan uren of dagen na publicatie zijn.
Twee opties: reverse DNS op het bron-IP moet een host onder googlebot.com of google.com opleveren en een forward lookup van die host moet hetzelfde IP teruggeven, of het IP moet voorkomen in googlebot.json. De referentie is gepubliceerd op https://developers.google.com/static/search/apis/ipranges/googlebot.json.
Voeg het token Googlebot toe aan robots.txt met Disallow: /. Negeert de crawler robots.txt, filter dan op de user agent in je CDN of reverse proxy en geef daar een 403 terug.
Als je Googlebot blokkeert, verdwijnt je site uit de index achter de antwoorden, zodat er niet meer naar je wordt verwezen. Is verkeer via AI-antwoorden belangrijk voor je, blokkeer dan de trainingscrawler en laat deze met rust.