Crawlers de entrenamiento
AI2Bot es un bot operado por Ai2 que recopila páginas para entrenar modelos de IA. Explora «ciertos dominios» para encontrar contenido web. Está documentado que respeta robots.txt, pero no se publica ninguna lista de rangos de IP ni convención de DNS inverso, así que no se puede demostrar que una solicitud con este user agent sea auténtica.
La solicitud dice
"AI2Bot"
Se comprueba con
Nada publicado
Comprobación en directo
No hay ninguna verificación del operador para AI2Bot. Aun así, aquí ves qué es realmente la dirección.
Referencia
| User agent | AI2BotSolo token: busca coincidencias con la subcadena. |
|---|---|
| Operador | Ai2 |
| Finalidad | El contenido se usa para entrenar modelos de lenguaje abiertos. |
| Respeta robots.txt | Respeta |
| Método de verificación | Solo declaradoNada publicado, solo user agent Ai2 documenta el rastreador y una forma de exclusión, pero no publica ninguna lista de direcciones. Lo que recopila alimenta los conjuntos de datos abiertos OLMo y Dolma, así que bloquearlo aquí retira el sitio de los corpus de investigación públicos además de un modelo. |
| Patrón de rastreo | No publicado |
| Tokens de robots.txt | AI2BotAi2Bot-Dolma |
| Documentación del operador | https://allenai.org/crawler |
Explora «ciertos dominios» para encontrar contenido web.
robots.txt
Pega una en la raíz de tu dominio. Las reglas se aplican por token.
User-agent: AI2Bot
User-agent: Ai2Bot-Dolma
Disallow: /User-agent: AI2Bot
User-agent: Ai2Bot-Dolma
Allow: /User-agent: AI2Bot
User-agent: Ai2Bot-Dolma
Allow: /
Disallow: /account/
Disallow: /checkout/
Disallow: /searchCambia las rutas de Disallow para que coincidan con tus URLs.
Bloquear AI2Bot deja tus páginas fuera del próximo entrenamiento. No elimina nada de lo ya recopilado y no afecta al posicionamiento del sitio en la búsqueda normal.
Crea un archivo para todos los rastreadoresFAQ
AI2Bot es un bot operado por Ai2 que recopila páginas para entrenar modelos de IA. Explora «ciertos dominios» para encontrar contenido web. Está documentado que respeta robots.txt, pero no se publica ninguna lista de rangos de IP ni convención de DNS inverso, así que no se puede demostrar que una solicitud con este user agent sea auténtica.
Sí. El operador documenta que AI2Bot lee robots.txt y respeta las reglas Disallow de su propio token. Las reglas se aplican la próxima vez que descarga el archivo, lo que puede ocurrir horas o días después de publicarlas.
No puedes, al menos no a partir de la propia solicitud. Ai2 documenta el rastreador y una forma de exclusión, pero no publica ninguna lista de direcciones. Lo que recopila alimenta los conjuntos de datos abiertos OLMo y Dolma, así que bloquearlo aquí retira el sitio de los corpus de investigación públicos además de un modelo. En su lugar, compara la IP de origen con rangos de hosting y de centros de datos, y limita la frecuencia de todo lo que se comporte como un rastreador.
Añade estos tokens de user agent (AI2Bot, Ai2Bot-Dolma) a robots.txt con Disallow: /. Si el rastreador ignora robots.txt, filtra el user agent en tu CDN o proxy inverso y devuelve allí un 403.
Bloquear AI2Bot deja tus páginas fuera del próximo entrenamiento. No elimina nada de lo ya recopilado y no afecta al posicionamiento del sitio en la búsqueda normal.