Détection de faux Googlebot
Vérifier Googlebot
Une requête provient réellement de Googlebot uniquement si l’IP source passe une vérification DNS inverse confirmée par une résolution directe, ou figure dans l’un des fichiers de plages publiés par Google. Effectuez une résolution inverse de l’IP : elle doit renvoyer un nom d’hôte se terminant par googlebot.com ou google.com, et la résolution directe de ce nom d’hôte doit renvoyer la même IP. La chaîne user agent ne prouve rien à elle seule, car n’importe qui peut l’envoyer.
Vérifier une IP se présentant comme Googlebot
Les deux vérifications documentées par Google, appliquées à l’adresse que vous collez : le DNS inverse doit renvoyer un hôte googlebot.com ou google.com et cet hôte doit renvoyer la même adresse, ou bien l’adresse doit figurer dans le fichier de plages publié par Google.
Vérifier une IP de votre journal d’accès
Collez l’adresse qui a envoyé le user agent Googlebot. La recherche renvoie l’ASN et le réseau auquel elle appartient, ce qui est le moyen le plus rapide de repérer un faux : le vrai trafic Googlebot provient de Google, pas d’un revendeur d’hébergement ni d’un pool de proxys résidentiels.
La vérification DNS inverse confirmée par résolution directe
# 1. reverse lookup on the address from your log
host 66.249.66.1
# -> 1.66.249.66.in-addr.arpa domain name pointer crawl-66-249-66-1.googlebot.com
# 2. forward lookup on the hostname you just got back
host crawl-66-249-66-1.googlebot.com
# -> crawl-66-249-66-1.googlebot.com has address 66.249.66.1
# Genuine only if step 2 returns the exact address from step 1
# and the hostname ends in googlebot.com or google.com.Remplacez l’adresse par celle de votre propre journal. Une non-concordance, ou un nom d’hôte sur un autre domaine, signifie que la requête ne provenait pas de Googlebot.
Ne sautez pas la deuxième étape. Un enregistrement PTR peut être défini par quiconque contrôle l’adresse : un nom d’hôte googlebot.com ne constitue donc pas une preuve à lui seul. Seule la résolution directe le rattache à la zone de Google.
Ou comparez avec les fichiers de plages publiés
googlebot.jsonExploration pour la recherche Googlespecial-crawlers.jsonGoogleOther et la famille AdsBotuser-triggered-fetchers.jsonRécupérations demandées par une personne
Questions
Le même problème pour tous les autres robots
Googlebot est le cas simple, car Google publie à la fois une convention DNS et des fichiers de plages. La plupart des robots d’exploration IA ne publient ni l’une ni les autres. L’annuaire indique ce que chacun propose réellement.