Crawlers de búsqueda con IA
GoogleOther es un bot operado por Google que indexa páginas para que un motor de respuestas con IA pueda citarlas. "Lo usan varios equipos de producto para obtener contenido de acceso público de sitios web. Respeta robots.txt, y una solicitud que dice ser de GoogleOther puede comprobarse con un archivo publicado de rangos de IP o una consulta de DNS inverso confirmada con DNS directo.
La solicitud dice
"GoogleOther"
Se comprueba con
rangos de IP y DNS inverso de Google
Comprobación en directo
Pega la dirección de la línea del log. Se compara con lo que publica el operador.
Referencia
| User agent | GoogleOtherSolo token: busca coincidencias con la subcadena. |
|---|---|
| Operador | |
| Finalidad | Extrae datos. |
| Respeta robots.txt | Respetafuente |
| Método de verificación | Rangos de IP + DNSRangos de IP publicados o DNS inverso Figura en el archivo de rangos de rastreadores especiales de Google, y el DNS inverso resuelve bajo googlebot.com. Lo usan equipos internos de Google para rastreos puntuales, no la indexación de la Búsqueda. https://developers.google.com/static/search/apis/ipranges/special-crawlers.json |
| Patrón de rastreo | No publicado |
| Tokens de robots.txt | GoogleOther |
| Documentación del operador | https://developers.google.com/search/docs/crawling-indexing/overview-google-crawlers |
"Lo usan varios equipos de producto para obtener contenido de acceso público de sitios web. Por ejemplo, puede usarse para rastreos puntuales de investigación y desarrollo internos."
robots.txt
Pega una en la raíz de tu dominio. Las reglas se aplican por token.
User-agent: GoogleOther
Disallow: /User-agent: GoogleOther
Allow: /User-agent: GoogleOther
Allow: /
Disallow: /account/
Disallow: /checkout/
Disallow: /searchCambia las rutas de Disallow para que coincidan con tus URLs.
Bloquear GoogleOther saca el sitio del índice en el que se basan sus respuestas, así que deja de citarse allí. Si te importa el tráfico que llega desde respuestas de IA, bloquea mejor el rastreador de entrenamiento y deja este.
Crea un archivo para todos los rastreadoresFAQ
GoogleOther es un bot operado por Google que indexa páginas para que un motor de respuestas con IA pueda citarlas. "Lo usan varios equipos de producto para obtener contenido de acceso público de sitios web. Respeta robots.txt, y una solicitud que dice ser de GoogleOther puede comprobarse con un archivo publicado de rangos de IP o una consulta de DNS inverso confirmada con DNS directo.
Sí. El operador documenta que GoogleOther lee robots.txt y respeta las reglas Disallow de su propio token. Las reglas se aplican la próxima vez que descarga el archivo, lo que puede ocurrir horas o días después de publicarlas.
Figura en el archivo de rangos de rastreadores especiales de Google, y el DNS inverso resuelve bajo googlebot.com. Lo usan equipos internos de Google para rastreos puntuales, no la indexación de la Búsqueda. La referencia está publicada en https://developers.google.com/static/search/apis/ipranges/special-crawlers.json.
Añade el token GoogleOther a robots.txt con Disallow: /. Si el rastreador ignora robots.txt, filtra el user agent en tu CDN o proxy inverso y devuelve allí un 403.
Bloquear GoogleOther saca el sitio del índice en el que se basan sus respuestas, así que deja de citarse allí. Si te importa el tráfico que llega desde respuestas de IA, bloquea mejor el rastreador de entrenamiento y deja este.