YandexAdditional

YandexAdditional 是由 Yandex 运营的机器人，它会将网页抓取到数据集中，这些数据集可能被复用或与第三方共享。获取用于 YandexGPT 快速回答功能的数据。它遵守 robots.txt，自称 YandexAdditional 的请求可通过以下方式核验：经正向确认的反向 DNS 查询。

Yandex反向 DNSrobots.txt:遵守

请求声明

"YandexAdditional"

核验依据

Yandex 的反向 DNS

已验证并非此爬虫

实时检查

验证自称 YandexAdditional 的 IP

粘贴日志中的地址，系统会将其与运营方公布的信息进行比对。

此检查需要 JavaScript。不过它所依据的证据都是公开的：运营方的官方文档说明了如何验证自称 YandexAdditional 的请求，下表也列出了相同内容。

参考

YandexAdditional 概览

YandexAdditional 爬虫参考数据
User agent	`YandexAdditional` 仅为标识符：按子串匹配。
运营方	Yandex
用途	为 YandexGPT LLM 抓取和分析数据。
是否遵守 robots.txt	遵守来源
验证方法	反向 DNS反向 DNS（经正向确认） Yandex 的文档说明了针对 yandex.ru、yandex.net 和 yandex.com 主机名的先反向后正向 DNS 校验。该校验同样适用于 YandexGPT 爬虫。 https://yandex.com/support/webmaster/robot-workings/check-yandex-robots.html
抓取模式	未公布
robots.txt 标识符	`YandexAdditionalYandexAdditionalBot`
运营方文档	未发布

获取用于 YandexGPT 快速回答功能的数据。

robots.txt

允许或屏蔽 YandexAdditional

选择一项粘贴到域名根目录下。规则按标识符分别生效。

屏蔽 YandexAdditional

User-agent: YandexAdditional
User-agent: YandexAdditionalBot
Disallow: /

允许 YandexAdditional

User-agent: YandexAdditional
User-agent: YandexAdditionalBot
Allow: /

允许，但排除你不希望被引用的页面

User-agent: YandexAdditional
User-agent: YandexAdditionalBot
Allow: /
Disallow: /account/
Disallow: /checkout/
Disallow: /search

请修改 Disallow 路径，使其与你自己的 URL 一致。

屏蔽的实际代价

屏蔽 YandexAdditional 可使你的网页不进入其通过后续抓取构建的数据集。它不会删除之前已收集的内容。各运营方使用或共享数据的方式不同，请查阅其政策。

为所有爬虫生成文件

YandexAdditional 常见问题

YandexAdditional 是什么？

YandexAdditional 是否遵守 robots.txt？

是。运营方在文档中说明 YandexAdditional 会读取 robots.txt，并遵守针对其自身标识的 Disallow 规则。规则在下次抓取该文件时生效，可能是发布后数小时或数天。

如何验证请求确实来自 YandexAdditional？

Yandex 的文档说明了针对 yandex.ru、yandex.net 和 yandex.com 主机名的先反向后正向 DNS 校验。该校验同样适用于 YandexGPT 爬虫。参考资料发布于 https://yandex.com/support/webmaster/robot-workings/check-yandex-robots.html。

如何屏蔽 YandexAdditional？

在 robots.txt 中为这些 user agent 标识（YandexAdditional, YandexAdditionalBot）添加 Disallow: /。如果该爬虫不遵守 robots.txt，请在 CDN 或反向代理上匹配其 user agent 并返回 403。

屏蔽 YandexAdditional 会影响我的搜索排名吗？