Robots de recherche IA
GoogleOther est un bot exploité par Google qui indexe des pages afin qu'un moteur de réponses IA puisse les citer. « Utilisé par diverses équipes produit pour récupérer du contenu accessible publiquement sur des sites. Il respecte le fichier robots.txt. Moyen de vérifier une requête se réclamant de GoogleOther : un fichier de plages d'IP publié ou une résolution DNS inverse confirmée par une résolution directe.
La requête annonce
"GoogleOther"
Comparé à
plages IP et DNS inverse (Google)
Vérification en direct
Collez l'adresse figurant dans la ligne de journal. Elle est comparée aux informations publiées par l'opérateur.
Référence
| User agent | GoogleOtherJeton seul : recherchez la sous-chaîne. |
|---|---|
| Opérateur | |
| Finalité | Collecte des données. |
| Respecte robots.txt | Respectesource |
| Méthode de vérification | Plages d'IP + DNSPlages d'IP publiées ou DNS inverse Figure dans le fichier de plages des crawlers spéciaux de Google, et le DNS inverse se résout sous googlebot.com. Utilisé par des équipes internes de Google pour des explorations ponctuelles, et non pour l'indexation de la recherche. https://developers.google.com/static/search/apis/ipranges/special-crawlers.json |
| Comportement d'exploration | Non publié |
| Jetons robots.txt | GoogleOther |
| Documentation de l'opérateur | https://developers.google.com/search/docs/crawling-indexing/overview-google-crawlers |
« Utilisé par diverses équipes produit pour récupérer du contenu accessible publiquement sur des sites. Par exemple, il peut servir à des explorations ponctuelles pour la recherche et le développement internes. »
robots.txt
Placez l'un de ces fichiers à la racine de votre domaine. Les règles s'appliquent jeton par jeton.
User-agent: GoogleOther
Disallow: /User-agent: GoogleOther
Allow: /User-agent: GoogleOther
Allow: /
Disallow: /account/
Disallow: /checkout/
Disallow: /searchModifiez les chemins Disallow pour qu'ils correspondent à vos propres URL.
Bloquer GoogleOther retire le site de l'index qui alimente ses réponses : il n'y sera plus cité. Si le trafic provenant des réponses IA compte pour vous, bloquez plutôt le crawler d'entraînement et laissez celui-ci accéder au site.
Générer un fichier pour tous les robotsFAQ
GoogleOther est un bot exploité par Google qui indexe des pages afin qu'un moteur de réponses IA puisse les citer. « Utilisé par diverses équipes produit pour récupérer du contenu accessible publiquement sur des sites. Il respecte le fichier robots.txt. Moyen de vérifier une requête se réclamant de GoogleOther : un fichier de plages d'IP publié ou une résolution DNS inverse confirmée par une résolution directe.
Oui. L'opérateur indique que GoogleOther lit le fichier robots.txt et respecte les règles Disallow visant son propre jeton. Les règles s'appliquent lors de la prochaine récupération du fichier, ce qui peut prendre plusieurs heures ou plusieurs jours après leur publication.
Figure dans le fichier de plages des crawlers spéciaux de Google, et le DNS inverse se résout sous googlebot.com. Utilisé par des équipes internes de Google pour des explorations ponctuelles, et non pour l'indexation de la recherche. La référence est publiée sur https://developers.google.com/static/search/apis/ipranges/special-crawlers.json.
Ajoutez le jeton GoogleOther au fichier robots.txt avec Disallow: /. Si le crawler ignore robots.txt, filtrez le user agent au niveau de votre CDN ou de votre proxy inverse et renvoyez une erreur 403.
Bloquer GoogleOther retire le site de l'index qui alimente ses réponses : il n'y sera plus cité. Si le trafic provenant des réponses IA compte pour vous, bloquez plutôt le crawler d'entraînement et laissez celui-ci accéder au site.