AI 搜索爬虫
AIWebIndex 是由 Lyrenth (Aleksma Ai, Inc.) 运营的机器人，它会为网页建立索引，供 AI 问答引擎引用。AIWebIndex 是由 Lyrenth 运营的网络爬虫，用于构建 AI 可读的网页内容索引，并在注明出处的前提下向 AI 代理提供页面。它遵守 robots.txt，自称 AIWebIndex 的请求可通过以下方式核验：已公布的 IP 范围文件或经正向确认的反向 DNS 查询。
请求声明
"AIWebIndex/2.0"
核验依据
Lyrenth (Aleksma Ai, Inc.) 的IP 段和反向 DNS
实时检查
粘贴日志中的地址，系统会将其与运营方公布的信息进行比对。
参考
| User agent | AIWebIndex/2.0 (+https://lyrenth.com/bot; AI-readable web index) |
|---|---|
| 运营方 | Lyrenth (Aleksma Ai, Inc.) |
| 用途 | 构建 AI 可读的网页索引，并将单个页面以结构化文本的形式提供给 AI 代理，同时注明出处并附上来源链接。 |
| 是否遵守 robots.txt | 遵守来源 |
| 验证方法 | IP 段 + DNS已公布的 IP 范围或反向 DNS Lyrenth 以 JSON（gptbot.json 格式）公布其抓取 IP。反向 DNS 解析到 lyrenth.com 下，正向解析返回相同的 IP。此外，还在 api.lyrenth.com/.well-known/http-message-signatures-directory 公布了 Web Bot Auth（RFC 9421）密钥目录。2026-08-24 已对全部 22 个公布地址完成正向确认。 |
| 抓取模式 | 每个域名最多每 2 秒请求一次；如果 robots.txt 设置了更长的 Crawl-delay，则按更低的频率抓取。 |
| robots.txt 标识符 | AIWebIndexAIWebIndex-Agent |
| 运营方文档 | https://lyrenth.com/crawler-policy |
AIWebIndex 是由 Lyrenth 运营的网络爬虫，用于构建 AI 可读的网页内容索引，并在注明出处的前提下向 AI 代理提供页面。Lyrenth 声明不会使用抓取的内容训练基础模型。其爬虫政策指出，验证域名的所有者即授予 Lyrenth 将该域名的规范内容授权给 AI 实验室的权利；此条款仅适用于已验证的域名，不适用于常规抓取。
robots.txt
选择一项粘贴到域名根目录下。规则按标识符分别生效。
User-agent: AIWebIndex
User-agent: AIWebIndex-Agent
Disallow: /User-agent: AIWebIndex
User-agent: AIWebIndex-Agent
Allow: /User-agent: AIWebIndex
User-agent: AIWebIndex-Agent
Allow: /
Disallow: /account/
Disallow: /checkout/
Disallow: /search请修改 Disallow 路径，使其与你自己的 URL 一致。
FAQ
AIWebIndex 是由 Lyrenth (Aleksma Ai, Inc.) 运营的机器人，它会为网页建立索引，供 AI 问答引擎引用。AIWebIndex 是由 Lyrenth 运营的网络爬虫，用于构建 AI 可读的网页内容索引，并在注明出处的前提下向 AI 代理提供页面。它遵守 robots.txt，自称 AIWebIndex 的请求可通过以下方式核验：已公布的 IP 范围文件或经正向确认的反向 DNS 查询。
是。运营方在文档中说明 AIWebIndex 会读取 robots.txt，并遵守针对其自身标识的 Disallow 规则。规则在下次抓取该文件时生效，可能是发布后数小时或数天。
Lyrenth 以 JSON（gptbot.json 格式）公布其抓取 IP。反向 DNS 解析到 lyrenth.com 下，正向解析返回相同的 IP。此外，还在 api.lyrenth.com/.well-known/http-message-signatures-directory 公布了 Web Bot Auth（RFC 9421）密钥目录。2026-08-24 已对全部 22 个公布地址完成正向确认。参考资料发布于 https://lyrenth.com/bot/ip-ranges.json。
在 robots.txt 中为这些 user agent 标识（AIWebIndex, AIWebIndex-Agent）添加 Disallow: /。如果该爬虫不遵守 robots.txt，请在 CDN 或反向代理上匹配其 user agent 并返回 403。
屏蔽 AIWebIndex 会使网站从其答案所依赖的索引中移除，不再被引用。如果你重视来自 AI 答案的引荐流量，请改为屏蔽训练爬虫，保留这个爬虫。