Comment vérifier Googlebot (et bloquer les faux)

"Verify Googlebot" est l'une des questions sur les bots les plus recherchées, et pour cause : une grande partie du trafic indésirable arrive déguisée en Googlebot. Le User-Agent se falsifie facilement, donc le traiter comme une preuve permet aux scrapers d'obtenir le même laissez-passer que le vrai crawler.

Le User-Agent ne prouve rien

Googlebot/2.1 n'est qu'un header. Un scraper, un navigateur headless ou un script de credential stuffing peut envoyer exactement la même chaîne. Si ta règle d'autorisation est "User-Agent contient Googlebot", tu as en pratique publié une porte ouverte avec un panneau "défense d'entrer".

La vraie vérification : le reverse DNS forward-confirmed

Google publie la méthode, qui comporte trois étapes :

1. Recherche inverse de l'IP. Prends l'IP qui se connecte et lis son enregistrement PTR. Le vrai Googlebot se résout vers un nom d'hôte sous googlebot.com ou google.com.
2. Confirmer le domaine. Le nom d'hôte doit se terminer par l'un de ces domaines officiels. Une IP de datacenter qui prétend être Googlebot a généralement un PTR qui ne correspond pas.
3. Résolution directe en retour. Résous ce nom d'hôte en IP et vérifie qu'elle correspond à l'originale. Cela referme la boucle, de sorte qu'un enregistrement PTR falsifié seul ne suffit pas.

Une requête "Googlebot" qui échoue à l'une des étapes n'est pas Googlebot. Le même schéma permet de vérifier Bingbot, et les autres grands crawlers publient leurs propres plages ou conventions DNS.

Ce n'est plus seulement une question de Googlebot

Le problème le plus difficile en 2026, c'est tout ce qui se trouve entre l'humain et le bot évident.

• Les crawlers IA comme GPTBot, ClaudeBot et PerplexityBot, que tu voudras peut-être autoriser, monétiser ou bloquer par nom.
• L'automatisation headless (Playwright, Puppeteer, HeadlessChrome) qui imite un vrai navigateur de façon convaincante.
• Les faux bons bots qui circulent avec des User-Agents usurpés depuis des plages de datacenter.

Le reverse DNS vérifie les bons bots. À lui seul, il ne classe pas le reste.

Combiner les signaux pour classer le reste

Vérifier Googlebot n'est qu'un élément. Pour statuer sur tout le reste, combine-le avec :

• L'origine de l'IP : datacenter, VPN, proxy ou résidentiel propre. Un trafic headless venant d'une plage datacenter est le cas classique d'automatisation malveillante. Vérifie d'abord la réputation et l'origine d'une IP.
• Les indices headless et d'automatisation : webdriver, des surfaces de navigateur manquantes et des marqueurs de User-Agent comme HeadlessChrome.
• L'empreinte TLS JA4 : reflète la façon dont le client parle réellement TLS, elle survit donc à un User-Agent falsifié et distingue un vrai Chrome d'un imposteur.
• La cohérence des headers : les vrais navigateurs envoient Accept, Accept-Language et Accept-Encoding ensemble, beaucoup de bots ne le font pas.

Autoriser les vrais, statuer sur le reste

C'est le modèle qu'Agentscan applique en une seule requête : il confirme la allowlist vérifiée par reverse DNS forward-confirmed, identifie les crawlers IA par leur nom, et combine l'origine de l'IP avec les indices headless et JA4 pour classer chaque requête comme humain, bot connu, agent IA ou automatisation malveillante. Les verdicts sont mis en cache, si bien que les recherches répétées reviennent en moins de 50ms.

En résumé

Ne fais jamais confiance à un User-Agent Googlebot. Vérifie-le avec un reverse DNS forward-confirmed, autorise les crawlers que tu veux réellement, et combine origine de l'IP, indices headless et JA4 pour statuer sur tout le reste. Tu protèges ainsi ton SEO tout en bloquant les faux.