Robots de recherche IA
Googlebot est un bot exploité par Google qui indexe des pages afin qu'un moteur de réponses IA puisse les citer. Googlebot est le crawler de la recherche Google. Il respecte le fichier robots.txt. Moyen de vérifier une requête se réclamant de Googlebot : un fichier de plages d'IP publié ou une résolution DNS inverse confirmée par une résolution directe.
La requête annonce
"Googlebot/2.1"
Comparé à
plages IP et DNS inverse (Google)
Vérification en direct
Collez l'adresse figurant dans la ligne de journal. Elle est comparée aux informations publiées par l'opérateur.
Référence
| User agent | Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html) |
|---|---|
| Opérateur | |
| Finalité | Indexation pour la recherche, qui alimente aussi les AI Overviews |
| Respecte robots.txt | Respectesource |
| Méthode de vérification | Plages d'IP + DNSPlages d'IP publiées ou DNS inverse Deux options : le DNS inverse de l'IP source doit renvoyer un hôte googlebot.com ou google.com, et la résolution directe de cet hôte doit renvoyer la même IP ; ou bien l'IP doit figurer dans googlebot.json. https://developers.google.com/static/search/apis/ipranges/googlebot.json |
| Comportement d'exploration | En continu, à un rythme adapté à chaque site. |
| Jetons robots.txt | Googlebot |
| Documentation de l'opérateur | https://developers.google.com/search/docs/crawling-indexing/verifying-googlebot |
Googlebot est le crawler de la recherche Google. Ce n'est pas un crawler d'entraînement d'IA, mais les pages qu'il indexe peuvent être résumées dans les AI Overviews et servir à l'ancrage de Gemini. Bloquer Google-Extended sans bloquer Googlebot est donc la méthode habituelle pour rester dans la recherche Google tout en refusant l'entraînement.
robots.txt
Placez l'un de ces fichiers à la racine de votre domaine. Les règles s'appliquent jeton par jeton.
User-agent: Googlebot
Disallow: /User-agent: Googlebot
Allow: /User-agent: Googlebot
Allow: /
Disallow: /account/
Disallow: /checkout/
Disallow: /searchModifiez les chemins Disallow pour qu'ils correspondent à vos propres URL.
Bloquer Googlebot retire le site de l'index qui alimente ses réponses : il n'y sera plus cité. Si le trafic provenant des réponses IA compte pour vous, bloquez plutôt le crawler d'entraînement et laissez celui-ci accéder au site.
Générer un fichier pour tous les robotsFAQ
Googlebot est un bot exploité par Google qui indexe des pages afin qu'un moteur de réponses IA puisse les citer. Googlebot est le crawler de la recherche Google. Il respecte le fichier robots.txt. Moyen de vérifier une requête se réclamant de Googlebot : un fichier de plages d'IP publié ou une résolution DNS inverse confirmée par une résolution directe.
Oui. L'opérateur indique que Googlebot lit le fichier robots.txt et respecte les règles Disallow visant son propre jeton. Les règles s'appliquent lors de la prochaine récupération du fichier, ce qui peut prendre plusieurs heures ou plusieurs jours après leur publication.
Deux options : le DNS inverse de l'IP source doit renvoyer un hôte googlebot.com ou google.com, et la résolution directe de cet hôte doit renvoyer la même IP ; ou bien l'IP doit figurer dans googlebot.json. La référence est publiée sur https://developers.google.com/static/search/apis/ipranges/googlebot.json.
Ajoutez le jeton Googlebot au fichier robots.txt avec Disallow: /. Si le crawler ignore robots.txt, filtrez le user agent au niveau de votre CDN ou de votre proxy inverse et renvoyez une erreur 403.
Bloquer Googlebot retire le site de l'index qui alimente ses réponses : il n'y sera plus cité. Si le trafic provenant des réponses IA compte pour vous, bloquez plutôt le crawler d'entraînement et laissez celui-ci accéder au site.