Welche Bereichsdatei von Google sollte ich verwenden?

googlebot.json deckt das Crawling für die Suche ab. special-crawlers.json deckt GoogleOther und die AdsBot-Familie ab. user-triggered-fetchers.json und user-triggered-fetchers-google.json decken Abrufe ab, die eine Person angefordert hat, einschließlich derer hinter Gemini und NotebookLM. Die Wahl der falschen Datei ist der häufigste Grund, warum ein legitimer Crawler blockiert wird.

Wird der Googlebot blockiert, wenn ich Google-Extended blockiere?

Nein. Google-Extended ist ausschließlich ein robots.txt-Token, nie ein User-Agent. Es steuert, ob bereits gecrawlte Seiten für das Training und Grounding von Gemini verwendet werden, und hat keinen Einfluss auf das Crawling oder das Ranking in der Suche. Wer den Googlebot blockiert, verschwindet aus der Suche.

Wie oft ändern sich die veröffentlichten Bereiche?

Google aktualisiert die JSON-Dateien ohne Ankündigung, daher veraltet eine Kopie, die in eine Firewall-Regel eingefügt wurde. Rufen Sie die Dateien regelmäßig automatisch ab oder prüfen Sie Anfragen über einen Dienst, der das für Sie erledigt.

Wie sieht gefälschter Googlebot-Traffic meist aus?

Ein Googlebot-User-Agent, der aus einem Pool residentieller Proxys, von einem günstigen VPS-Anbieter oder aus einem Rechenzentrums-ASN kommt, das nicht zu Google gehört. Solcher Traffic ignoriert in der Regel crawl-delay, ruft Seiten in einer Reihenfolge ab, die kein echter Crawler wählen würde, und belastet Endpunkte, deren Rendering aufwendig ist.

IPScanner

Produkte

IP DetectionVPN-, Proxy-, Tor- und Hosting-Prüfung für jede IP AgentscanMenschen, Bots und KI-Agenten unterscheiden ProvenanceStandortprüfung mit manipulationssicherem Prüfprotokoll E-Mail-SicherheitErkennt Wegwerf-, Tippfehler- und tote Anmelde-E-Mails

Integrationen

Cloudflare Worker WordPress-Plugin WooCommerce Traefik-Plugin Caddy-Modul nginx, Apache, HAProxy Formular-Gate Signup Gate MCP-Server Alle Integrationen

ErkennungsdiensteVPN-Erkennung Proxy-Erkennung Geolokalisierung ASN-Daten WHOIS-Infos

Falscher Googlebot

Googlebot prüfen

Eine Anfrage stammt nur dann wirklich vom Googlebot, wenn die Quell-IP eine vorwärts bestätigte Reverse-DNS-Prüfung besteht oder in einer der von Google veröffentlichten Bereichsdateien steht. Führen Sie für die IP ein Reverse Lookup durch: Es muss einen Hostnamen liefern, der auf googlebot.com oder google.com endet, und ein Forward Lookup dieses Hostnamens muss dieselbe IP ergeben. Der User-Agent-String allein beweist nichts, denn jeder kann ihn senden.

IP prüfen, die sich als Googlebot ausgegeben hat

Beide von Google dokumentierten Prüfungen, angewendet auf die eingefügte Adresse: Reverse DNS muss auf einen Host unter googlebot.com oder google.com auflösen und dieser Host muss wieder auf dieselbe Adresse auflösen, oder die Adresse muss in der von Google veröffentlichten Bereichsdatei stehen.

Die Prüfung benötigt JavaScript. Die zugrunde liegenden Belege sind ohnehin öffentlich: Die Dokumentation des Betreibers beschreibt, wie sich eine Anfrage, die sich als Googlebot ausgibt, überprüfen lässt, und die Tabelle unten gibt das wieder.

IP aus Ihrem Zugriffslog prüfen

Fügen Sie die Adresse ein, die den Googlebot-User-Agent gesendet hat. Die Abfrage liefert das ASN und das Netzwerk, zu dem die Adresse gehört. So erkennen Sie eine Fälschung am schnellsten: Echter Googlebot-Traffic kommt von Google, nicht von einem Hosting-Reseller oder aus einem Pool residentieller Proxys.

ASN-DatenGET /v1/asn/{ip}

Beispiele

Kommandozeile

Die vorwärts bestätigte Reverse-DNS-Prüfung

Zwei Abfragen, ein Ergebnis

# 1. reverse lookup on the address from your log
host 66.249.66.1
# -> 1.66.249.66.in-addr.arpa domain name pointer crawl-66-249-66-1.googlebot.com

# 2. forward lookup on the hostname you just got back
host crawl-66-249-66-1.googlebot.com
# -> crawl-66-249-66-1.googlebot.com has address 66.249.66.1

# Genuine only if step 2 returns the exact address from step 1
# and the hostname ends in googlebot.com or google.com.

Ersetzen Sie die Adresse durch die aus Ihrem eigenen Log. Stimmen die Ergebnisse nicht überein oder gehört der Hostname zu einer anderen Domain, stammte die Anfrage nicht vom Googlebot.

Lassen Sie Schritt zwei nicht weg. Einen PTR-Eintrag kann setzen, wer die Adresse kontrolliert, daher ist ein Hostname unter googlebot.com allein kein Beweis. Erst das Forward Lookup verknüpft ihn mit der Zone von Google.

Oder mit den veröffentlichten Bereichsdateien abgleichen

googlebot.jsonCrawling für die Suche
special-crawlers.jsonGoogleOther und die AdsBot-Familie
user-triggered-fetchers.jsonVon einer Person angeforderte Abrufe

Fragen

Jeder kann für eine Adresse, die er kontrolliert, einen PTR-Eintrag setzen, auch einen, der auf googlebot.com endet. Erst das Forward Lookup schließt diese Lücke: Nur Google kann dafür sorgen, dass crawl-66-249-66-1.googlebot.com wieder auf die Adresse auflöst, von der die Anfrage kam.

Dasselbe Problem bei allen anderen Crawlern

Der Googlebot ist der einfache Fall, denn Google veröffentlicht sowohl eine DNS-Konvention als auch Bereichsdateien. Die meisten KI-Crawler veröffentlichen keins von beidem. Das Verzeichnis zeigt, was jeder einzelne tatsächlich bereitstellt.

Verzeichnis der KI-Crawler Googlebot-Referenz GPTBot ClaudeBot PerplexityBot Bingbot JA4-Fingerprint-Decoder Agentscan Erkennung von Rechenzentrums-IPs