Crawlers de búsqueda con IA
Googlebot es un bot operado por Google que indexa páginas para que un motor de respuestas con IA pueda citarlas. Googlebot es el rastreador de la Búsqueda de Google. Respeta robots.txt, y una solicitud que dice ser de Googlebot puede comprobarse con un archivo publicado de rangos de IP o una consulta de DNS inverso confirmada con DNS directo.
La solicitud dice
"Googlebot/2.1"
Se comprueba con
rangos de IP y DNS inverso de Google
Comprobación en directo
Pega la dirección de la línea del log. Se compara con lo que publica el operador.
Referencia
| User agent | Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html) |
|---|---|
| Operador | |
| Finalidad | Indexación de búsqueda que también alimenta AI Overviews |
| Respeta robots.txt | Respetafuente |
| Método de verificación | Rangos de IP + DNSRangos de IP publicados o DNS inverso Dos opciones: el DNS inverso de la IP de origen debe devolver un host de googlebot.com o google.com y una búsqueda directa de ese host debe devolver la misma IP, o bien la IP debe figurar en googlebot.json. https://developers.google.com/static/search/apis/ipranges/googlebot.json |
| Patrón de rastreo | Continuo, con frecuencia adaptada a cada sitio. |
| Tokens de robots.txt | Googlebot |
| Documentación del operador | https://developers.google.com/search/docs/crawling-indexing/verifying-googlebot |
Googlebot es el rastreador de la Búsqueda de Google. No es un rastreador de entrenamiento de IA, pero las páginas que indexa pueden resumirse en AI Overviews y usarse para la fundamentación en Gemini, así que bloquear Google-Extended sin bloquear Googlebot es la forma habitual de seguir apareciendo en la Búsqueda y excluirse del entrenamiento.
robots.txt
Pega una en la raíz de tu dominio. Las reglas se aplican por token.
User-agent: Googlebot
Disallow: /User-agent: Googlebot
Allow: /User-agent: Googlebot
Allow: /
Disallow: /account/
Disallow: /checkout/
Disallow: /searchCambia las rutas de Disallow para que coincidan con tus URLs.
Bloquear Googlebot saca el sitio del índice en el que se basan sus respuestas, así que deja de citarse allí. Si te importa el tráfico que llega desde respuestas de IA, bloquea mejor el rastreador de entrenamiento y deja este.
Crea un archivo para todos los rastreadoresFAQ
Googlebot es un bot operado por Google que indexa páginas para que un motor de respuestas con IA pueda citarlas. Googlebot es el rastreador de la Búsqueda de Google. Respeta robots.txt, y una solicitud que dice ser de Googlebot puede comprobarse con un archivo publicado de rangos de IP o una consulta de DNS inverso confirmada con DNS directo.
Sí. El operador documenta que Googlebot lee robots.txt y respeta las reglas Disallow de su propio token. Las reglas se aplican la próxima vez que descarga el archivo, lo que puede ocurrir horas o días después de publicarlas.
Dos opciones: el DNS inverso de la IP de origen debe devolver un host de googlebot.com o google.com y una búsqueda directa de ese host debe devolver la misma IP, o bien la IP debe figurar en googlebot.json. La referencia está publicada en https://developers.google.com/static/search/apis/ipranges/googlebot.json.
Añade el token Googlebot a robots.txt con Disallow: /. Si el rastreador ignora robots.txt, filtra el user agent en tu CDN o proxy inverso y devuelve allí un 403.
Bloquear Googlebot saca el sitio del índice en el que se basan sus respuestas, así que deja de citarse allí. Si te importa el tráfico que llega desde respuestas de IA, bloquea mejor el rastreador de entrenamiento y deja este.