數據集建構程式
YandexAdditional 是由 Yandex 營運的機械人，會將網頁爬取至數據集，而該數據集可能會被重用或與第三方共享。擷取資料以供 YandexGPT 快速回答功能使用。此機械人遵守 robots.txt；如請求聲稱來自 YandexAdditional，可用的核實依據為經正向確認的反向 DNS 查詢。
請求聲稱
"YandexAdditional"
核對依據
Yandex 的反向 DNS
即時檢查
貼上日誌記錄中的地址，系統會與營運者公布的資料核對。
參考資料
| User agent | YandexAdditional僅為標記：以子字串比對。 |
|---|---|
| 營運者 | Yandex |
| 用途 | 為 YandexGPT LLM 擷取及分析資料。 |
| 遵守 robots.txt | 遵守來源 |
| 驗證方法 | 反向 DNS反向 DNS（經正向確認） Yandex 說明了以 yandex.ru、yandex.net 及 yandex.com 主機名稱進行先反向後正向的 DNS 檢查。同一檢查亦適用於 YandexGPT 爬蟲。 https://yandex.com/support/webmaster/robot-workings/check-yandex-robots.html |
| 爬取模式 | 未公布 |
| robots.txt 標記 | YandexAdditionalYandexAdditionalBot |
| 營運者文件 | 未有公布 |
擷取資料以供 YandexGPT 快速回答功能使用。
robots.txt
選擇其中一項，貼到網域根目錄。規則按標記分別設定。
User-agent: YandexAdditional
User-agent: YandexAdditionalBot
Disallow: /User-agent: YandexAdditional
User-agent: YandexAdditionalBot
Allow: /User-agent: YandexAdditional
User-agent: YandexAdditionalBot
Allow: /
Disallow: /account/
Disallow: /checkout/
Disallow: /search請修改 Disallow 路徑，使其符合你的網址。
封鎖 YandexAdditional 可使你的網頁不被納入其日後爬取所建立的數據集。此舉不會刪除先前已收集的內容，而各營運者使用或共享數據的方式各有不同，請查閱其政策。
為所有爬蟲建立檔案FAQ
YandexAdditional 是由 Yandex 營運的機械人，會將網頁爬取至數據集，而該數據集可能會被重用或與第三方共享。擷取資料以供 YandexGPT 快速回答功能使用。此機械人遵守 robots.txt；如請求聲稱來自 YandexAdditional，可用的核實依據為經正向確認的反向 DNS 查詢。
是。營運者的文件說明 YandexAdditional 會讀取 robots.txt，並遵守針對其標記的 Disallow 規則。規則會在下次擷取該檔案時生效，可能是發布後數小時或數天。
Yandex 說明了以 yandex.ru、yandex.net 及 yandex.com 主機名稱進行先反向後正向的 DNS 檢查。同一檢查亦適用於 YandexGPT 爬蟲。參考資料發布於 https://yandex.com/support/webmaster/robot-workings/check-yandex-robots.html。
在 robots.txt 中為以下 user agent 標記（YandexAdditional, YandexAdditionalBot）加入 Disallow: /。如該爬蟲不遵守 robots.txt，請改為在 CDN 或反向代理伺服器比對 user agent，並在該處回傳 403。
封鎖 YandexAdditional 可使你的網頁不被納入其日後爬取所建立的數據集。此舉不會刪除先前已收集的內容，而各營運者使用或共享數據的方式各有不同，請查閱其政策。