Detectar Googlebot falso
Verificar Googlebot
Una solicitud es realmente de Googlebot solo si la IP de origen supera una comprobación de DNS inverso confirmado por búsqueda directa o aparece en uno de los archivos de rangos que publica Google. Haz una búsqueda inversa de la IP: debe devolver un nombre de host que termine en googlebot.com o google.com, y una búsqueda directa de ese nombre de host debe devolver la misma IP. La cadena de user agent por sí sola no demuestra nada, porque cualquiera puede enviarla.
Verifica una IP que decía ser Googlebot
Las dos comprobaciones que documenta Google, aplicadas a la dirección que pegues: el DNS inverso tiene que resolver a un host de googlebot.com o google.com y ese host tiene que resolver de nuevo a la misma dirección, o bien la dirección tiene que aparecer en el archivo de rangos que publica Google.
Comprueba una IP de tu log de accesos
Pega la dirección que envió el user agent de Googlebot. La consulta devuelve el ASN y la red a la que pertenece, que es la forma más rápida de detectar uno falso: el tráfico real de Googlebot viene de Google, no de un revendedor de hosting ni de un pool de proxies residenciales.
La comprobación de DNS inverso confirmado
# 1. reverse lookup on the address from your log
host 66.249.66.1
# -> 1.66.249.66.in-addr.arpa domain name pointer crawl-66-249-66-1.googlebot.com
# 2. forward lookup on the hostname you just got back
host crawl-66-249-66-1.googlebot.com
# -> crawl-66-249-66-1.googlebot.com has address 66.249.66.1
# Genuine only if step 2 returns the exact address from step 1
# and the hostname ends in googlebot.com or google.com.Sustituye la dirección por la de tu propio log. Si no coincide, o si el nombre de host pertenece a cualquier otro dominio, la solicitud no era de Googlebot.
No te saltes el segundo paso. Quien controle la dirección puede configurar un registro PTR, así que un nombre de host de googlebot.com no es prueba suficiente. Solo la búsqueda directa lo vincula a la zona de Google.
O compárala con los archivos de rangos publicados
googlebot.jsonRastreo de la Búsquedaspecial-crawlers.jsonGoogleOther y la familia AdsBotuser-triggered-fetchers.jsonDescargas que ha pedido una persona
Preguntas
El mismo problema con los demás rastreadores
Googlebot es el caso fácil, porque Google publica tanto una convención de DNS como archivos de rangos. La mayoría de los rastreadores de IA no publican ninguna de las dos cosas. El directorio recoge lo que ofrece realmente cada uno.