AI-zoekcrawlers
GoogleOther is een bot van Google die pagina's indexeert zodat een AI-antwoordmachine ernaar kan verwijzen. "Gebruikt door verschillende productteams om openbaar toegankelijke content van sites op te halen. Hij respecteert robots.txt, en een verzoek dat zich uitgeeft als GoogleOther kun je controleren aan de hand van een gepubliceerd bestand met IP-ranges of een reverse DNS-lookup met forward-bevestiging.
Verzoek meldt
"GoogleOther"
Gecontroleerd aan de hand van
IP-bereiken en reverse DNS van Google
Live check
Plak het adres uit de logregel. Het wordt gecontroleerd aan de hand van wat de beheerder publiceert.
Referentie
| User agent | GoogleOtherAlleen token: match op de substring. |
|---|---|
| Beheerder | |
| Doel | Scrapet data. |
| Respecteert robots.txt | Respecteertbron |
| Verificatiemethode | IP-bereiken + DNSGepubliceerde IP-ranges of reverse DNS Staat in het bestand met IP-bereiken voor speciale crawlers van Google, en reverse DNS verwijst naar googlebot.com. Wordt gebruikt door interne teams van Google voor eenmalige crawls, niet voor indexering voor Search. https://developers.google.com/static/search/apis/ipranges/special-crawlers.json |
| Crawlpatroon | Niet gepubliceerd |
| robots.txt-tokens | GoogleOther |
| Documentatie van de beheerder | https://developers.google.com/search/docs/crawling-indexing/overview-google-crawlers |
"Gebruikt door verschillende productteams om openbaar toegankelijke content van sites op te halen. Het kan bijvoorbeeld worden gebruikt voor eenmalige crawls voor intern onderzoek en ontwikkeling."
robots.txt
Plak er een in de root van je domein. Regels gelden per token.
User-agent: GoogleOther
Disallow: /User-agent: GoogleOther
Allow: /User-agent: GoogleOther
Allow: /
Disallow: /account/
Disallow: /checkout/
Disallow: /searchPas de Disallow-paden aan zodat ze overeenkomen met je eigen URL's.
Als je GoogleOther blokkeert, verdwijnt je site uit de index achter de antwoorden, zodat er niet meer naar je wordt verwezen. Is verkeer via AI-antwoorden belangrijk voor je, blokkeer dan de trainingscrawler en laat deze met rust.
Maak een bestand voor alle crawlersFAQ
GoogleOther is een bot van Google die pagina's indexeert zodat een AI-antwoordmachine ernaar kan verwijzen. "Gebruikt door verschillende productteams om openbaar toegankelijke content van sites op te halen. Hij respecteert robots.txt, en een verzoek dat zich uitgeeft als GoogleOther kun je controleren aan de hand van een gepubliceerd bestand met IP-ranges of een reverse DNS-lookup met forward-bevestiging.
Ja. De beheerder documenteert dat GoogleOther robots.txt leest en Disallow-regels voor het eigen token volgt. Regels gaan in zodra het bestand opnieuw wordt opgehaald, en dat kan uren of dagen na publicatie zijn.
Staat in het bestand met IP-bereiken voor speciale crawlers van Google, en reverse DNS verwijst naar googlebot.com. Wordt gebruikt door interne teams van Google voor eenmalige crawls, niet voor indexering voor Search. De referentie is gepubliceerd op https://developers.google.com/static/search/apis/ipranges/special-crawlers.json.
Voeg het token GoogleOther toe aan robots.txt met Disallow: /. Negeert de crawler robots.txt, filter dan op de user agent in je CDN of reverse proxy en geef daar een 403 terug.
Als je GoogleOther blokkeert, verdwijnt je site uit de index achter de antwoorden, zodat er niet meer naar je wordt verwezen. Is verkeer via AI-antwoorden belangrijk voor je, blokkeer dan de trainingscrawler en laat deze met rust.