Crawlers de búsqueda con IA
AIWebIndex es un bot operado por Lyrenth (Aleksma Ai, Inc.) que indexa páginas para que un motor de respuestas con IA pueda citarlas. AIWebIndex es un rastreador web gestionado por Lyrenth que crea un índice del contenido web legible por IA y sirve páginas a agentes de IA con atribución. Respeta robots.txt, y una solicitud que dice ser de AIWebIndex puede comprobarse con un archivo publicado de rangos de IP o una consulta de DNS inverso confirmada con DNS directo.
La solicitud dice
"AIWebIndex/2.0"
Se comprueba con
rangos de IP y DNS inverso de Lyrenth (Aleksma Ai, Inc.)
Comprobación en directo
Pega la dirección de la línea del log. Se compara con lo que publica el operador.
Referencia
| User agent | AIWebIndex/2.0 (+https://lyrenth.com/bot; AI-readable web index) |
|---|---|
| Operador | Lyrenth (Aleksma Ai, Inc.) |
| Finalidad | Crea un índice web legible por IA y devuelve páginas individuales a los agentes de IA como texto estructurado, con atribución y un enlace a la fuente. |
| Respeta robots.txt | Respetafuente |
| Método de verificación | Rangos de IP + DNSRangos de IP publicados o DNS inverso Lyrenth publica sus IP de rastreo en JSON (formato gptbot.json). El DNS inverso resuelve bajo lyrenth.com y la resolución directa devuelve la misma IP. También publica un directorio de claves de Web Bot Auth (RFC 9421) en api.lyrenth.com/.well-known/http-message-signatures-directory. Las 22 direcciones publicadas se confirmaron con resolución directa el 2026-08-24. |
| Patrón de rastreo | Como máximo una solicitud por dominio cada 2 segundos, y más despacio si robots.txt establece un Crawl-delay mayor. |
| Tokens de robots.txt | AIWebIndexAIWebIndex-Agent |
| Documentación del operador | https://lyrenth.com/crawler-policy |
AIWebIndex es un rastreador web gestionado por Lyrenth que crea un índice del contenido web legible por IA y sirve páginas a agentes de IA con atribución. Lyrenth afirma que no entrena modelos fundacionales con el contenido rastreado. Su política de rastreo indica que los propietarios que verifican un dominio conceden a Lyrenth el derecho a licenciar el contenido canónico de ese dominio a laboratorios de IA. Esto se aplica solo a los dominios verificados, no al rastreo normal.
robots.txt
Pega una en la raíz de tu dominio. Las reglas se aplican por token.
User-agent: AIWebIndex
User-agent: AIWebIndex-Agent
Disallow: /User-agent: AIWebIndex
User-agent: AIWebIndex-Agent
Allow: /User-agent: AIWebIndex
User-agent: AIWebIndex-Agent
Allow: /
Disallow: /account/
Disallow: /checkout/
Disallow: /searchCambia las rutas de Disallow para que coincidan con tus URLs.
Bloquear AIWebIndex saca el sitio del índice en el que se basan sus respuestas, así que deja de citarse allí. Si te importa el tráfico que llega desde respuestas de IA, bloquea mejor el rastreador de entrenamiento y deja este.
Crea un archivo para todos los rastreadoresFAQ
AIWebIndex es un bot operado por Lyrenth (Aleksma Ai, Inc.) que indexa páginas para que un motor de respuestas con IA pueda citarlas. AIWebIndex es un rastreador web gestionado por Lyrenth que crea un índice del contenido web legible por IA y sirve páginas a agentes de IA con atribución. Respeta robots.txt, y una solicitud que dice ser de AIWebIndex puede comprobarse con un archivo publicado de rangos de IP o una consulta de DNS inverso confirmada con DNS directo.
Sí. El operador documenta que AIWebIndex lee robots.txt y respeta las reglas Disallow de su propio token. Las reglas se aplican la próxima vez que descarga el archivo, lo que puede ocurrir horas o días después de publicarlas.
Lyrenth publica sus IP de rastreo en JSON (formato gptbot.json). El DNS inverso resuelve bajo lyrenth.com y la resolución directa devuelve la misma IP. También publica un directorio de claves de Web Bot Auth (RFC 9421) en api.lyrenth.com/.well-known/http-message-signatures-directory. Las 22 direcciones publicadas se confirmaron con resolución directa el 2026-08-24. La referencia está publicada en https://lyrenth.com/bot/ip-ranges.json.
Añade estos tokens de user agent (AIWebIndex, AIWebIndex-Agent) a robots.txt con Disallow: /. Si el rastreador ignora robots.txt, filtra el user agent en tu CDN o proxy inverso y devuelve allí un 403.
Bloquear AIWebIndex saca el sitio del índice en el que se basan sus respuestas, así que deja de citarse allí. Si te importa el tráfico que llega desde respuestas de IA, bloquea mejor el rastreador de entrenamiento y deja este.