Robots d'entraînement
Google-Extended est un bot exploité par Google qui collecte des pages servant à entraîner des modèles d'IA. Utilisé pour entraîner Gemini et les API génératives de Vertex AI. Ce nom n'apparaît jamais dans un en-tête User-Agent : il s'agit uniquement d'une directive robots.txt, il n'y a donc rien à vérifier au moment de la requête.
Ligne robots.txt
User-agent: Google-Extended
Comparé à
Rien : jamais envoyé comme user agent
Vérification en direct
Collez l'adresse figurant dans la ligne de journal. Elle est comparée aux informations publiées par l'opérateur.
Référence
| User agent | Google-ExtendedJeton seul : recherchez la sous-chaîne. |
|---|---|
| Opérateur | |
| Finalité | Entraînement de LLM. |
| Respecte robots.txt | Respectesource |
| Méthode de vérification | Jeton uniquementSans objet, jeton robots.txt uniquement Google-Extended n'apparaît jamais dans un en-tête User-Agent. Il s'agit uniquement d'un jeton robots.txt, qui permet de refuser l'entraînement et l'ancrage de Gemini sans modifier l'exploration pour la recherche Google. Il n'y a aucune IP à vérifier. https://developers.google.com/search/docs/crawling-indexing/overview-google-crawlers |
| Comportement d'exploration | Non publié |
| Jetons robots.txt | Google-Extended |
| Documentation de l'opérateur | https://developers.google.com/search/docs/crawling-indexing/overview-google-crawlers |
Utilisé pour entraîner Gemini et les API génératives de Vertex AI. N'a aucune incidence sur l'inclusion ou le classement d'un site dans la recherche Google.
robots.txt
Placez l'un de ces fichiers à la racine de votre domaine. Les règles s'appliquent jeton par jeton.
User-agent: Google-Extended
Disallow: /User-agent: Google-Extended
Allow: /User-agent: Google-Extended
Allow: /
Disallow: /account/
Disallow: /checkout/
Disallow: /searchModifiez les chemins Disallow pour qu'ils correspondent à vos propres URL.
Bloquer Google-Extended exclut vos pages des prochaines sessions d'entraînement. Cela ne supprime pas les données déjà collectées et n'a aucun effet sur le classement du site dans les résultats de recherche classiques.
Générer un fichier pour tous les robotsFAQ
Google-Extended est un bot exploité par Google qui collecte des pages servant à entraîner des modèles d'IA. Utilisé pour entraîner Gemini et les API génératives de Vertex AI. Ce nom n'apparaît jamais dans un en-tête User-Agent : il s'agit uniquement d'une directive robots.txt, il n'y a donc rien à vérifier au moment de la requête.
Oui. L'opérateur indique que Google-Extended lit le fichier robots.txt et respecte les règles Disallow visant son propre jeton. Les règles s'appliquent lors de la prochaine récupération du fichier, ce qui peut prendre plusieurs heures ou plusieurs jours après leur publication.
Google-Extended n'apparaît jamais dans un en-tête User-Agent. Il s'agit uniquement d'un jeton robots.txt, qui permet de refuser l'entraînement et l'ancrage de Gemini sans modifier l'exploration pour la recherche Google. Il n'y a aucune IP à vérifier.
Ajoutez le jeton Google-Extended au fichier robots.txt avec Disallow: /. Si le crawler ignore robots.txt, filtrez le user agent au niveau de votre CDN ou de votre proxy inverse et renvoyez une erreur 403.
Bloquer Google-Extended exclut vos pages des prochaines sessions d'entraînement. Cela ne supprime pas les données déjà collectées et n'a aucun effet sur le classement du site dans les résultats de recherche classiques.