Googlebot verifizieren (und gefälschte Bots blockieren)

"Verify Googlebot" ist eine der meistgesuchten Bot-Fragen, aus gutem Grund: Ein großer Teil des unerwünschten Traffics kommt im Googlebot-Kostüm daher. Der User-Agent lässt sich mühelos fälschen, weshalb ihn als Beweis zu behandeln dafür sorgt, dass Scraper denselben Freifahrtschein bekommen wie der echte Crawler.

Der User-Agent beweist nichts

Googlebot/2.1 ist nur ein Header. Ein Scraper, ein Headless-Browser oder ein Credential-Stuffing- Skript kann exakt denselben String senden. Wenn deine Allow-Regel "User-Agent enthält Googlebot" lautet, hast du praktisch eine offene Tür mit einem Schild "bitte nicht eintreten" aufgestellt.

Die echte Prüfung: forward-confirmed Reverse DNS

Google veröffentlicht die Methode, sie besteht aus drei Schritten:

1. Reverse Lookup der IP. Nimm die verbindende IP und lies ihren PTR-Eintrag. Echter Googlebot löst sich zu einem Hostnamen unter googlebot.com oder google.com auf.
2. Domain bestätigen. Der Hostname muss auf eine dieser offiziellen Domains enden. Eine Rechenzentrums-IP, die behauptet, Googlebot zu sein, hat meist einen PTR-Eintrag, der das nicht tut.
3. Forward Lookup zurück. Löse diesen Hostnamen zu einer IP auf und bestätige, dass sie mit der ursprünglichen übereinstimmt. Das schließt die Schleife, sodass ein gefälschter PTR-Eintrag allein nicht durchkommt.

Eine "Googlebot"-Anfrage, die einen der Schritte nicht besteht, ist kein Googlebot. Dasselbe Muster verifiziert Bingbot, und die anderen großen Crawler veröffentlichen eigene IP-Bereiche oder DNS-Konventionen.

Es geht längst nicht mehr nur um Googlebot

Das schwierigere Problem 2026 ist alles dazwischen: zwischen Mensch und offensichtlichem Bot.

• KI-Crawler wie GPTBot, ClaudeBot und PerplexityBot, die du vielleicht erlauben, monetarisieren oder namentlich blockieren willst.
• Headless-Automatisierung (Playwright, Puppeteer, HeadlessChrome), die einen echten Browser überzeugend imitiert.
• Gespoofte gute Bots unterwegs mit gefälschten User-Agents aus Rechenzentrums-Bereichen.

Reverse DNS verifiziert die guten Bots. Für sich allein klassifiziert es den Rest nicht.

Signale kombinieren, um den Rest zu klassifizieren

Googlebot zu verifizieren ist ein Baustein. Um über alles andere zu entscheiden, kombiniere ihn mit:

• IP-Herkunft: Rechenzentrum, VPN, Proxy oder sauberes Residential. Headless-Traffic aus einem Rechenzentrums-Bereich ist der klassische Fall schädlicher Automatisierung. Prüfe zuerst Reputation und Herkunft einer IP.
• Headless- und Automatisierungs-Merkmale: webdriver, fehlende Browser-Oberflächen und User-Agent-Marker wie HeadlessChrome.
• JA4-TLS-Fingerabdruck: spiegelt wider, wie der Client TLS tatsächlich spricht, übersteht also einen gefälschten User-Agent und unterscheidet ein echtes Chrome von einem Hochstapler.
• Header-Konsistenz: Echte Browser senden Accept, Accept-Language und Accept-Encoding gemeinsam, viele Bots tun das nicht.

Die echten erlauben, über den Rest entscheiden

Das ist das Modell, das Agentscan in einer einzigen Anfrage durchläuft: Es bestätigt die verifizierte Allowlist per forward-confirmed Reverse DNS, identifiziert KI-Crawler namentlich und verschmilzt IP-Herkunft mit Headless-Merkmalen und JA4, um jede Anfrage als Mensch, bekannten Bot, KI-Agent oder schädliche Automatisierung einzustufen. Verdikte werden gecacht, wiederholte Abfragen kommen so in unter 50ms zurück.

Fazit

Vertraue nie einem Googlebot-User-Agent. Verifiziere ihn mit forward-confirmed Reverse DNS, erlaube die Crawler, die du tatsächlich willst, und kombiniere IP-Herkunft, Headless-Merkmale und JA4, um über den Rest zu entscheiden. So schützt du SEO und blockierst gleichzeitig die Fälschungen.