Nep-Googlebot check
Googlebot verifiëren
Een request is alleen echt Googlebot als het bron-IP een forward-confirmed reverse DNS-check doorstaat of in een van de rangebestanden staat die Google publiceert. Doe een reverse lookup op het IP: die moet een hostnaam opleveren die eindigt op googlebot.com of google.com, en een forward lookup van die hostnaam moet hetzelfde IP teruggeven. De user agent-string zelf bewijst niets, want iedereen kan die meesturen.
Verifieer een IP dat zich als Googlebot voordeed
Beide checks die Google documenteert, uitgevoerd op het adres dat je plakt: reverse DNS moet verwijzen naar een host op googlebot.com of google.com en die host moet terugverwijzen naar hetzelfde adres, of het adres moet in het rangebestand staan dat Google publiceert.
Controleer een IP uit je access log
Plak het adres dat de Googlebot-user agent stuurde. De lookup geeft de ASN en het netwerk waartoe het adres hoort, en zo herken je een nepbot het snelst: echt Googlebot-verkeer komt van Google, niet van een hostingreseller of een residential proxy-pool.
De forward-confirmed reverse DNS-check
# 1. reverse lookup on the address from your log
host 66.249.66.1
# -> 1.66.249.66.in-addr.arpa domain name pointer crawl-66-249-66-1.googlebot.com
# 2. forward lookup on the hostname you just got back
host crawl-66-249-66-1.googlebot.com
# -> crawl-66-249-66-1.googlebot.com has address 66.249.66.1
# Genuine only if step 2 returns the exact address from step 1
# and the hostname ends in googlebot.com or google.com.Vervang het adres door het adres uit je eigen log. Komen ze niet overeen, of staat de hostnaam op een ander domein, dan was het request geen Googlebot.
Sla stap twee niet over. Een PTR-record kan worden ingesteld door wie het adres beheert, dus een hostnaam op googlebot.com is op zich geen bewijs. Alleen de forward lookup koppelt het terug aan de zone van Google.
Of vergelijk met de gepubliceerde rangebestanden
googlebot.jsonCrawlen voor Searchspecial-crawlers.jsonGoogleOther en de AdsBot-familieuser-triggered-fetchers.jsonFetches waar een persoon om vroeg
Vragen
Hetzelfde probleem, bij elke andere crawler
Googlebot is het makkelijke geval, want Google publiceert zowel een DNS-conventie als rangebestanden. De meeste AI-crawlers publiceren geen van beide. Het overzicht laat zien wat elke crawler werkelijk biedt.