Trainings-Crawler
Google-Extended ist ein von Google betriebener Bot, der Seiten sammelt, mit denen KI-Modelle trainiert werden. Wird zum Training von Gemini und den generativen APIs von Vertex AI verwendet. Der Name erscheint nie in einem User-Agent-Header. Es handelt sich nur um eine robots.txt-Direktive, daher lässt sich bei einer Anfrage nichts verifizieren.
robots.txt-Zeile
User-agent: Google-Extended
Geprüft anhand
Nichts: wird nie als User-Agent gesendet
Live-Prüfung
Fügen Sie die Adresse aus der Logzeile ein. Sie wird mit den Angaben des Betreibers abgeglichen.
Referenz
| User-Agent | Google-ExtendedNur Token: auf den Teilstring prüfen. |
|---|---|
| Betreiber | |
| Zweck | LLM-Training. |
| Beachtet robots.txt | BeachtetQuelle |
| Verifizierungsmethode | Nur TokenNicht anwendbar, nur robots.txt-Token Google-Extended erscheint nie in einem User-Agent-Header. Es ist ausschließlich ein robots.txt-Token, mit dem Sie dem Training und Grounding von Gemini widersprechen, ohne das Crawling für die Google Suche zu beeinflussen. Es gibt daher keine IP, die sich überprüfen ließe. https://developers.google.com/search/docs/crawling-indexing/overview-google-crawlers |
| Crawl-Muster | Nicht veröffentlicht |
| robots.txt-Tokens | Google-Extended |
| Dokumentation des Betreibers | https://developers.google.com/search/docs/crawling-indexing/overview-google-crawlers |
Wird zum Training von Gemini und den generativen APIs von Vertex AI verwendet. Hat keinen Einfluss darauf, ob eine Website in der Google Suche erscheint oder wie sie dort eingestuft wird.
robots.txt
Legen Sie eine davon im Stammverzeichnis Ihrer Domain ab. Regeln gelten pro Token.
User-agent: Google-Extended
Disallow: /User-agent: Google-Extended
Allow: /User-agent: Google-Extended
Allow: /
Disallow: /account/
Disallow: /checkout/
Disallow: /searchPassen Sie die Disallow-Pfade an Ihre eigenen URLs an.
Wenn Sie Google-Extended blockieren, fließen Ihre Seiten nicht in den nächsten Trainingslauf ein. Bereits gesammelte Inhalte werden dadurch nicht entfernt, und auf das Ranking der Website in der normalen Suche hat das keinen Einfluss.
Eine Datei für alle Crawler erstellenFAQ
Google-Extended ist ein von Google betriebener Bot, der Seiten sammelt, mit denen KI-Modelle trainiert werden. Wird zum Training von Gemini und den generativen APIs von Vertex AI verwendet. Der Name erscheint nie in einem User-Agent-Header. Es handelt sich nur um eine robots.txt-Direktive, daher lässt sich bei einer Anfrage nichts verifizieren.
Ja. Der Betreiber dokumentiert, dass Google-Extended robots.txt liest und Disallow-Regeln für sein eigenes Token befolgt. Die Regeln greifen beim nächsten Abruf der Datei, was Stunden oder Tage nach der Veröffentlichung sein kann.
Google-Extended erscheint nie in einem User-Agent-Header. Es ist ausschließlich ein robots.txt-Token, mit dem Sie dem Training und Grounding von Gemini widersprechen, ohne das Crawling für die Google Suche zu beeinflussen. Es gibt daher keine IP, die sich überprüfen ließe.
Tragen Sie das Token Google-Extended mit Disallow: / in die robots.txt ein. Falls der Crawler robots.txt ignoriert, filtern Sie den User-Agent in Ihrem CDN oder Reverse Proxy und geben Sie dort stattdessen 403 zurück.
Wenn Sie Google-Extended blockieren, fließen Ihre Seiten nicht in den nächsten Trainingslauf ein. Bereits gesammelte Inhalte werden dadurch nicht entfernt, und auf das Ranking der Website in der normalen Suche hat das keinen Einfluss.