AI-zoekcrawlers
AIWebIndex is een bot van Lyrenth (Aleksma Ai, Inc.) die pagina's indexeert zodat een AI-antwoordmachine ernaar kan verwijzen. AIWebIndex is een webcrawler van Lyrenth die een voor AI leesbare index van webinhoud opbouwt en pagina's met bronvermelding aan AI-agents levert. Hij respecteert robots.txt, en een verzoek dat zich uitgeeft als AIWebIndex kun je controleren aan de hand van een gepubliceerd bestand met IP-ranges of een reverse DNS-lookup met forward-bevestiging.
Verzoek meldt
"AIWebIndex/2.0"
Gecontroleerd aan de hand van
IP-bereiken en reverse DNS van Lyrenth (Aleksma Ai, Inc.)
Live check
Plak het adres uit de logregel. Het wordt gecontroleerd aan de hand van wat de beheerder publiceert.
Referentie
| User agent | AIWebIndex/2.0 (+https://lyrenth.com/bot; AI-readable web index) |
|---|---|
| Beheerder | Lyrenth (Aleksma Ai, Inc.) |
| Doel | Bouwt een voor AI leesbare webindex en levert afzonderlijke pagina's terug aan AI-agents als gestructureerde tekst, met bronvermelding en een link naar de bron. |
| Respecteert robots.txt | Respecteertbron |
| Verificatiemethode | IP-bereiken + DNSGepubliceerde IP-ranges of reverse DNS Lyrenth publiceert zijn crawl-IP's als JSON (gptbot.json-formaat). Reverse DNS verwijst naar een naam onder lyrenth.com, en een forward lookup van die naam levert weer hetzelfde IP op. Daarnaast is er een sleuteldirectory voor Web Bot Auth (RFC 9421) gepubliceerd op api.lyrenth.com/.well-known/http-message-signatures-directory. Alle 22 gepubliceerde adressen zijn op 2026-08-24 via forward lookup bevestigd. |
| Crawlpatroon | Hoogstens één verzoek per domein per 2 seconden, en langzamer als robots.txt een langere Crawl-delay instelt. |
| robots.txt-tokens | AIWebIndexAIWebIndex-Agent |
| Documentatie van de beheerder | https://lyrenth.com/crawler-policy |
AIWebIndex is een webcrawler van Lyrenth die een voor AI leesbare index van webinhoud opbouwt en pagina's met bronvermelding aan AI-agents levert. Volgens Lyrenth worden er geen foundation models getraind op gecrawlde inhoud. Het crawlerbeleid vermeldt dat eigenaren die een domein verifiëren Lyrenth het recht geven om de canonieke inhoud van dat domein in licentie te geven aan AI-labs. Dit geldt alleen voor geverifieerde domeinen, niet voor gewoon crawlen.
robots.txt
Plak er een in de root van je domein. Regels gelden per token.
User-agent: AIWebIndex
User-agent: AIWebIndex-Agent
Disallow: /User-agent: AIWebIndex
User-agent: AIWebIndex-Agent
Allow: /User-agent: AIWebIndex
User-agent: AIWebIndex-Agent
Allow: /
Disallow: /account/
Disallow: /checkout/
Disallow: /searchPas de Disallow-paden aan zodat ze overeenkomen met je eigen URL's.
Als je AIWebIndex blokkeert, verdwijnt je site uit de index achter de antwoorden, zodat er niet meer naar je wordt verwezen. Is verkeer via AI-antwoorden belangrijk voor je, blokkeer dan de trainingscrawler en laat deze met rust.
Maak een bestand voor alle crawlersFAQ
AIWebIndex is een bot van Lyrenth (Aleksma Ai, Inc.) die pagina's indexeert zodat een AI-antwoordmachine ernaar kan verwijzen. AIWebIndex is een webcrawler van Lyrenth die een voor AI leesbare index van webinhoud opbouwt en pagina's met bronvermelding aan AI-agents levert. Hij respecteert robots.txt, en een verzoek dat zich uitgeeft als AIWebIndex kun je controleren aan de hand van een gepubliceerd bestand met IP-ranges of een reverse DNS-lookup met forward-bevestiging.
Ja. De beheerder documenteert dat AIWebIndex robots.txt leest en Disallow-regels voor het eigen token volgt. Regels gaan in zodra het bestand opnieuw wordt opgehaald, en dat kan uren of dagen na publicatie zijn.
Lyrenth publiceert zijn crawl-IP's als JSON (gptbot.json-formaat). Reverse DNS verwijst naar een naam onder lyrenth.com, en een forward lookup van die naam levert weer hetzelfde IP op. Daarnaast is er een sleuteldirectory voor Web Bot Auth (RFC 9421) gepubliceerd op api.lyrenth.com/.well-known/http-message-signatures-directory. Alle 22 gepubliceerde adressen zijn op 2026-08-24 via forward lookup bevestigd. De referentie is gepubliceerd op https://lyrenth.com/bot/ip-ranges.json.
Voeg deze user-agent-tokens (AIWebIndex, AIWebIndex-Agent) toe aan robots.txt met Disallow: /. Negeert de crawler robots.txt, filter dan op de user agent in je CDN of reverse proxy en geef daar een 403 terug.
Als je AIWebIndex blokkeert, verdwijnt je site uit de index achter de antwoorden, zodat er niet meer naar je wordt verwezen. Is verkeer via AI-antwoorden belangrijk voor je, blokkeer dan de trainingscrawler en laat deze met rust.