Robots de recherche IA
AIWebIndex est un bot exploité par Lyrenth (Aleksma Ai, Inc.) qui indexe des pages afin qu'un moteur de réponses IA puisse les citer. AIWebIndex est un robot d'exploration exploité par Lyrenth. Il respecte le fichier robots.txt. Moyen de vérifier une requête se réclamant de AIWebIndex : un fichier de plages d'IP publié ou une résolution DNS inverse confirmée par une résolution directe.
La requête annonce
"AIWebIndex/2.0"
Comparé à
plages IP et DNS inverse (Lyrenth (Aleksma Ai, Inc.))
Vérification en direct
Collez l'adresse figurant dans la ligne de journal. Elle est comparée aux informations publiées par l'opérateur.
Référence
| User agent | AIWebIndex/2.0 (+https://lyrenth.com/bot; AI-readable web index) |
|---|---|
| Opérateur | Lyrenth (Aleksma Ai, Inc.) |
| Finalité | Constitue un index du web lisible par l'IA et renvoie des pages individuelles aux agents d'IA sous forme de texte structuré, avec mention de la source et un lien vers celle-ci. |
| Respecte robots.txt | Respectesource |
| Méthode de vérification | Plages d'IP + DNSPlages d'IP publiées ou DNS inverse Lyrenth publie les IP de son robot en JSON (format gptbot.json). Le DNS inverse renvoie un nom sous lyrenth.com, dont la résolution directe renvoie la même IP. Un répertoire de clés Web Bot Auth (RFC 9421) est également publié à l'adresse api.lyrenth.com/.well-known/http-message-signatures-directory. Les 22 adresses publiées ont toutes été confirmées par résolution directe le 24 août 2026. |
| Comportement d'exploration | Au maximum une requête par domaine toutes les 2 secondes, et moins souvent lorsque robots.txt définit un Crawl-delay plus long. |
| Jetons robots.txt | AIWebIndexAIWebIndex-Agent |
| Documentation de l'opérateur | https://lyrenth.com/crawler-policy |
AIWebIndex est un robot d'exploration exploité par Lyrenth. Il constitue un index du contenu web lisible par l'IA et fournit des pages aux agents d'IA en citant leur source. Lyrenth affirme ne pas entraîner de modèles de fondation sur le contenu collecté. Sa politique d'exploration précise que les propriétaires qui font vérifier un domaine accordent à Lyrenth le droit de concéder sous licence le contenu canonique de ce domaine à des laboratoires d'IA. Cette clause ne concerne que les domaines vérifiés, et non l'exploration ordinaire.
robots.txt
Placez l'un de ces fichiers à la racine de votre domaine. Les règles s'appliquent jeton par jeton.
User-agent: AIWebIndex
User-agent: AIWebIndex-Agent
Disallow: /User-agent: AIWebIndex
User-agent: AIWebIndex-Agent
Allow: /User-agent: AIWebIndex
User-agent: AIWebIndex-Agent
Allow: /
Disallow: /account/
Disallow: /checkout/
Disallow: /searchModifiez les chemins Disallow pour qu'ils correspondent à vos propres URL.
Bloquer AIWebIndex retire le site de l'index qui alimente ses réponses : il n'y sera plus cité. Si le trafic provenant des réponses IA compte pour vous, bloquez plutôt le crawler d'entraînement et laissez celui-ci accéder au site.
Générer un fichier pour tous les robotsFAQ
AIWebIndex est un bot exploité par Lyrenth (Aleksma Ai, Inc.) qui indexe des pages afin qu'un moteur de réponses IA puisse les citer. AIWebIndex est un robot d'exploration exploité par Lyrenth. Il respecte le fichier robots.txt. Moyen de vérifier une requête se réclamant de AIWebIndex : un fichier de plages d'IP publié ou une résolution DNS inverse confirmée par une résolution directe.
Oui. L'opérateur indique que AIWebIndex lit le fichier robots.txt et respecte les règles Disallow visant son propre jeton. Les règles s'appliquent lors de la prochaine récupération du fichier, ce qui peut prendre plusieurs heures ou plusieurs jours après leur publication.
Lyrenth publie les IP de son robot en JSON (format gptbot.json). Le DNS inverse renvoie un nom sous lyrenth.com, dont la résolution directe renvoie la même IP. Un répertoire de clés Web Bot Auth (RFC 9421) est également publié à l'adresse api.lyrenth.com/.well-known/http-message-signatures-directory. Les 22 adresses publiées ont toutes été confirmées par résolution directe le 24 août 2026. La référence est publiée sur https://lyrenth.com/bot/ip-ranges.json.
Ajoutez ces jetons user agent (AIWebIndex, AIWebIndex-Agent) au fichier robots.txt avec Disallow: /. Si le crawler ignore robots.txt, filtrez le user agent au niveau de votre CDN ou de votre proxy inverse et renvoyez une erreur 403.
Bloquer AIWebIndex retire le site de l'index qui alimente ses réponses : il n'y sera plus cité. Si le trafic provenant des réponses IA compte pour vous, bloquez plutôt le crawler d'entraînement et laissez celui-ci accéder au site.