Generador de robots.txt para rastreadores de IA

Añade un grupo de reglas por cada identificador de rastreador: una línea User-agent con el nombre del bot y, debajo, Disallow: /. No existe ningún comodín que signifique "rastreadores de IA", así que para excluirte de verdad tienes que nombrar los 153 identificadores en uso, alias incluidos. Eso es lo que escribe este generador.

No, siempre que bloquees los correctos. Googlebot, Bingbot y los demás rastreadores de búsqueda tradicionales no son rastreadores de IA y no están en esta lista, así que nada de esto afecta al posicionamiento del sitio. La regla que sí te cuesta tráfico es bloquear un rastreador de búsqueda con IA: saca el sitio de las respuestas que redactan esos buscadores, y esa es una decisión distinta de excluirte del entrenamiento de modelos.

Los rastreadores de entrenamiento recopilan páginas que acaban en el corpus de entrenamiento de un modelo; los rastreadores de búsqueda con IA construyen el índice del que cita un motor de respuestas. Bloquear los primeros es la exclusión a la que se refieren la mayoría de los editores, y aquí abarca 61 identificadores. Bloquear los segundos te saca de las respuestas. El ajuste predeterminado de esta página bloquea el entrenamiento y la recopilación de conjuntos de datos y no toca los motores de respuestas.

Algunos sí y la mayoría no está demostrado. De los 153 identificadores de esta lista, 9 están documentados como rastreadores que ignoran robots.txt directamente, y 90 no han publicado ninguna política al respecto, lo que no equivale a comprometerse a respetarlo. robots.txt es una petición; si necesitas que algo se cumpla, la comprobación tiene que hacerse en la propia solicitud.

Porque determina si la regla se puede hacer cumplir. Solo 34 de los 153 identificadores publican un archivo de rangos de IP, una convención de DNS inverso o un ASN del operador con los que puedas comprobarlos; los 119 restantes los puede escribir cualquiera en una cabecera de user agent. Bloquearlos sigue valiendo la pena como declaración de intenciones, pero solo frena a quien decide dejarse frenar.

Sí. robots.txt compara con el identificador del user agent, así que una regla que nombra a ClaudeBot no afecta a una solicitud que se identifica como Claude-Web. Cada regla que escribe este generador incluye los alias del rastreador junto a su nombre actual, por eso el resultado es más largo que el número de rastreadores que has marcado.

En la raíz del dominio, como https://example.com/robots.txt, servido como texto plano. Las reglas son por host y por protocolo, así que cada subdominio necesita su propio archivo. Si ya tienes uno, pega estos grupos en él en lugar de sustituirlo: robots.txt no tiene ningún mecanismo de inclusión y solo cuenta el último archivo que subas.