Crawlers de entrenamiento
Google-Extended es un bot operado por Google que recopila páginas para entrenar modelos de IA. Se usa para entrenar Gemini y las API generativas de Vertex AI. El nombre nunca aparece en una cabecera User-Agent: es solo una directiva de robots.txt, así que no hay nada que verificar en el momento de la solicitud.
Línea de robots.txt
User-agent: Google-Extended
Se comprueba con
Nada: nunca se envía como user agent
Comprobación en directo
Pega la dirección de la línea del log. Se compara con lo que publica el operador.
Referencia
| User agent | Google-ExtendedSolo token: busca coincidencias con la subcadena. |
|---|---|
| Operador | |
| Finalidad | Entrenamiento de LLM. |
| Respeta robots.txt | Respetafuente |
| Método de verificación | Solo tokenNo aplica, solo es un token de robots.txt Google-Extended nunca aparece en una cabecera User-Agent. Es solo un token de robots.txt que sirve para excluirse del entrenamiento y la fundamentación de Gemini sin afectar al rastreo de la Búsqueda de Google. No hay nada que verificar por IP. https://developers.google.com/search/docs/crawling-indexing/overview-google-crawlers |
| Patrón de rastreo | No publicado |
| Tokens de robots.txt | Google-Extended |
| Documentación del operador | https://developers.google.com/search/docs/crawling-indexing/overview-google-crawlers |
Se usa para entrenar Gemini y las API generativas de Vertex AI. No afecta a la inclusión ni al posicionamiento de un sitio en la Búsqueda de Google.
robots.txt
Pega una en la raíz de tu dominio. Las reglas se aplican por token.
User-agent: Google-Extended
Disallow: /User-agent: Google-Extended
Allow: /User-agent: Google-Extended
Allow: /
Disallow: /account/
Disallow: /checkout/
Disallow: /searchCambia las rutas de Disallow para que coincidan con tus URLs.
Bloquear Google-Extended deja tus páginas fuera del próximo entrenamiento. No elimina nada de lo ya recopilado y no afecta al posicionamiento del sitio en la búsqueda normal.
Crea un archivo para todos los rastreadoresFAQ
Google-Extended es un bot operado por Google que recopila páginas para entrenar modelos de IA. Se usa para entrenar Gemini y las API generativas de Vertex AI. El nombre nunca aparece en una cabecera User-Agent: es solo una directiva de robots.txt, así que no hay nada que verificar en el momento de la solicitud.
Sí. El operador documenta que Google-Extended lee robots.txt y respeta las reglas Disallow de su propio token. Las reglas se aplican la próxima vez que descarga el archivo, lo que puede ocurrir horas o días después de publicarlas.
Google-Extended nunca aparece en una cabecera User-Agent. Es solo un token de robots.txt que sirve para excluirse del entrenamiento y la fundamentación de Gemini sin afectar al rastreo de la Búsqueda de Google. No hay nada que verificar por IP.
Añade el token Google-Extended a robots.txt con Disallow: /. Si el rastreador ignora robots.txt, filtra el user agent en tu CDN o proxy inverso y devuelve allí un 403.
Bloquear Google-Extended deja tus páginas fuera del próximo entrenamiento. No elimina nada de lo ya recopilado y no afecta al posicionamiento del sitio en la búsqueda normal.