Datensatz-Ersteller
YandexAdditional ist ein von Yandex betriebener Bot, der Seiten für einen Datensatz crawlt, der weiterverwendet oder an Dritte weitergegeben werden kann. Ruft Daten für die Schnellantwort-Funktionen von YandexGPT ab. Er beachtet robots.txt, und zur Prüfung einer Anfrage, die sich als YandexAdditional ausgibt, dient ein vorwärts bestätigter Reverse-DNS-Lookup.
Anfrage gibt an
"YandexAdditional"
Geprüft anhand
Reverse-DNS von Yandex
Live-Prüfung
Fügen Sie die Adresse aus der Logzeile ein. Sie wird mit den Angaben des Betreibers abgeglichen.
Referenz
| User-Agent | YandexAdditionalNur Token: auf den Teilstring prüfen. |
|---|---|
| Betreiber | Yandex |
| Zweck | Sammelt und analysiert Daten für das LLM YandexGPT. |
| Beachtet robots.txt | BeachtetQuelle |
| Verifizierungsmethode | Reverse DNSReverse DNS, vorwärts bestätigt Yandex dokumentiert eine Prüfung per Reverse-DNS mit anschließendem Forward-DNS-Abgleich gegen Hostnamen unter yandex.ru, yandex.net und yandex.com. Dieselbe Prüfung gilt auch für die YandexGPT-Crawler. https://yandex.com/support/webmaster/robot-workings/check-yandex-robots.html |
| Crawl-Muster | Nicht veröffentlicht |
| robots.txt-Tokens | YandexAdditionalYandexAdditionalBot |
| Dokumentation des Betreibers | Keine veröffentlicht |
Ruft Daten für die Schnellantwort-Funktionen von YandexGPT ab.
robots.txt
Legen Sie eine davon im Stammverzeichnis Ihrer Domain ab. Regeln gelten pro Token.
User-agent: YandexAdditional
User-agent: YandexAdditionalBot
Disallow: /User-agent: YandexAdditional
User-agent: YandexAdditionalBot
Allow: /User-agent: YandexAdditional
User-agent: YandexAdditionalBot
Allow: /
Disallow: /account/
Disallow: /checkout/
Disallow: /searchPassen Sie die Disallow-Pfade an Ihre eigenen URLs an.
Wenn Sie YandexAdditional blockieren, gelangen Ihre Seiten nicht in die Datensätze, die er aus künftigen Crawls erstellt. Früher gesammelte Inhalte werden dadurch nicht entfernt. Wie die einzelnen Betreiber ihre Daten nutzen oder weitergeben, ist unterschiedlich, prüfen Sie daher deren Richtlinien.
Eine Datei für alle Crawler erstellenFAQ
YandexAdditional ist ein von Yandex betriebener Bot, der Seiten für einen Datensatz crawlt, der weiterverwendet oder an Dritte weitergegeben werden kann. Ruft Daten für die Schnellantwort-Funktionen von YandexGPT ab. Er beachtet robots.txt, und zur Prüfung einer Anfrage, die sich als YandexAdditional ausgibt, dient ein vorwärts bestätigter Reverse-DNS-Lookup.
Ja. Der Betreiber dokumentiert, dass YandexAdditional robots.txt liest und Disallow-Regeln für sein eigenes Token befolgt. Die Regeln greifen beim nächsten Abruf der Datei, was Stunden oder Tage nach der Veröffentlichung sein kann.
Yandex dokumentiert eine Prüfung per Reverse-DNS mit anschließendem Forward-DNS-Abgleich gegen Hostnamen unter yandex.ru, yandex.net und yandex.com. Dieselbe Prüfung gilt auch für die YandexGPT-Crawler. Die Referenz ist unter https://yandex.com/support/webmaster/robot-workings/check-yandex-robots.html veröffentlicht.
Tragen Sie diese User-Agent-Tokens (YandexAdditional, YandexAdditionalBot) mit Disallow: / in die robots.txt ein. Falls der Crawler robots.txt ignoriert, filtern Sie den User-Agent in Ihrem CDN oder Reverse Proxy und geben Sie dort stattdessen 403 zurück.
Wenn Sie YandexAdditional blockieren, gelangen Ihre Seiten nicht in die Datensätze, die er aus künftigen Crawls erstellt. Früher gesammelte Inhalte werden dadurch nicht entfernt. Wie die einzelnen Betreiber ihre Daten nutzen oder weitergeben, ist unterschiedlich, prüfen Sie daher deren Richtlinien.