Datasetbouwers
YandexAdditional is een bot van Yandex die pagina's crawlt voor een dataset die mogelijk wordt hergebruikt of met derden gedeeld. Haalt data op voor de functie voor snelle antwoorden van YandexGPT. Hij respecteert robots.txt, en een verzoek dat zich uitgeeft als YandexAdditional kun je controleren aan de hand van een reverse DNS-lookup met forward-bevestiging.
Verzoek meldt
"YandexAdditional"
Gecontroleerd aan de hand van
reverse DNS van Yandex
Live check
Plak het adres uit de logregel. Het wordt gecontroleerd aan de hand van wat de beheerder publiceert.
Referentie
| User agent | YandexAdditionalAlleen token: match op de substring. |
|---|---|
| Beheerder | Yandex |
| Doel | Scrapet en analyseert data voor de LLM YandexGPT. |
| Respecteert robots.txt | Respecteertbron |
| Verificatiemethode | Reverse DNSReverse DNS, forward bevestigd Yandex documenteert een reverse DNS-controle gevolgd door een forward DNS-controle op hostnamen onder yandex.ru, yandex.net en yandex.com. Dezelfde controle geldt voor de crawlers van YandexGPT. https://yandex.com/support/webmaster/robot-workings/check-yandex-robots.html |
| Crawlpatroon | Niet gepubliceerd |
| robots.txt-tokens | YandexAdditionalYandexAdditionalBot |
| Documentatie van de beheerder | Niets gepubliceerd |
Haalt data op voor de functie voor snelle antwoorden van YandexGPT.
robots.txt
Plak er een in de root van je domein. Regels gelden per token.
User-agent: YandexAdditional
User-agent: YandexAdditionalBot
Disallow: /User-agent: YandexAdditional
User-agent: YandexAdditionalBot
Allow: /User-agent: YandexAdditional
User-agent: YandexAdditionalBot
Allow: /
Disallow: /account/
Disallow: /checkout/
Disallow: /searchPas de Disallow-paden aan zodat ze overeenkomen met je eigen URL's.
Als je YandexAdditional blokkeert, komen je pagina's niet in de datasets die hij uit toekomstige crawls samenstelt. Eerder verzamelde gegevens worden niet verwijderd, en hoe elke beheerder zijn data gebruikt of deelt verschilt. Lees daarom hun beleid.
Maak een bestand voor alle crawlersFAQ
YandexAdditional is een bot van Yandex die pagina's crawlt voor een dataset die mogelijk wordt hergebruikt of met derden gedeeld. Haalt data op voor de functie voor snelle antwoorden van YandexGPT. Hij respecteert robots.txt, en een verzoek dat zich uitgeeft als YandexAdditional kun je controleren aan de hand van een reverse DNS-lookup met forward-bevestiging.
Ja. De beheerder documenteert dat YandexAdditional robots.txt leest en Disallow-regels voor het eigen token volgt. Regels gaan in zodra het bestand opnieuw wordt opgehaald, en dat kan uren of dagen na publicatie zijn.
Yandex documenteert een reverse DNS-controle gevolgd door een forward DNS-controle op hostnamen onder yandex.ru, yandex.net en yandex.com. Dezelfde controle geldt voor de crawlers van YandexGPT. De referentie is gepubliceerd op https://yandex.com/support/webmaster/robot-workings/check-yandex-robots.html.
Voeg deze user-agent-tokens (YandexAdditional, YandexAdditionalBot) toe aan robots.txt met Disallow: /. Negeert de crawler robots.txt, filter dan op de user agent in je CDN of reverse proxy en geef daar een 403 terug.
Als je YandexAdditional blokkeert, komen je pagina's niet in de datasets die hij uit toekomstige crawls samenstelt. Eerder verzamelde gegevens worden niet verwijderd, en hoe elke beheerder zijn data gebruikt of deelt verschilt. Lees daarom hun beleid.