robots.txt-Generator für KI-Crawler

Legen Sie pro Crawler-Token eine Regelgruppe an: eine User-agent-Zeile mit dem Namen des Bots, darunter Disallow: /. Es gibt keinen Platzhalter, der „KI-Crawler“ bedeutet. Ein echtes Opt-out erfordert daher, alle 153 verwendeten Tokens einschließlich der Aliase aufzuführen. Genau das schreibt dieser Generator.

Nein, solange Sie die richtigen blockieren. Googlebot, Bingbot und die anderen gewöhnlichen Such-Crawler sind keine KI-Crawler und stehen nicht in dieser Liste. Nichts hier beeinflusst also das Ranking der Website. Traffic kostet Sie dagegen das Blockieren eines KI-Such-Crawlers: Damit verschwindet die Website aus den Antworten, die diese Suchmaschinen schreiben. Das ist eine andere Entscheidung als der Ausstieg aus dem Modelltraining.

Trainings-Crawler sammeln Seiten, die im Trainingskorpus eines Modells landen. KI-Such-Crawler bauen den Index auf, aus dem eine Antwortmaschine zitiert. Das Blockieren der ersten Gruppe ist das Opt-out, das die meisten Publisher meinen; es umfasst hier 61 Tokens. Das Blockieren der zweiten Gruppe entfernt Sie aus den Antworten. Die Standardvorgabe auf dieser Seite blockiert Training und Datensatzerfassung und lässt Antwortmaschinen unberührt.

Manche ja, bei den meisten ist es nicht belegt. Von den 153 hier aufgeführten Tokens ignorieren 9 nachweislich robots.txt vollständig, und 90 haben überhaupt keine Richtlinie veröffentlicht. Das ist nicht dasselbe wie die Zusage, sich daran zu halten. robots.txt ist eine Bitte. Was Sie durchsetzen müssen, muss bei der Anfrage selbst geprüft werden.

Weil er darüber entscheidet, ob sich die Regel durchsetzen lässt. Nur 34 der 153 Tokens veröffentlichen eine IP-Bereichsdatei, eine Reverse-DNS-Konvention oder eine Betreiber-ASN, gegen die Sie prüfen können. Die übrigen 119 kann jeder in einen beliebigen User-Agent-Header schreiben. Sie zu blockieren lohnt sich trotzdem als Willensbekundung, aber es hält nur auf, wer sich aufhalten lassen will.

Ja. robots.txt gleicht das User-Agent-Token ab, eine Regel für ClaudeBot wirkt also nicht auf eine Anfrage, die sich als Claude-Web ausgibt. Jede Regel dieses Generators deckt neben dem aktuellen Namen auch die Aliase des Crawlers ab. Deshalb ist die Ausgabe länger als die Zahl der angehakten Crawler.

Im Stammverzeichnis der Domain, als https://example.com/robots.txt, ausgeliefert als reiner Text. Regeln gelten pro Host und pro Protokoll, eine Subdomain braucht also eine eigene Datei. Wenn Sie bereits eine haben, fügen Sie diese Gruppen dort ein, statt die Datei zu ersetzen: robots.txt kennt keinen Include-Mechanismus, und es gilt die zuletzt gespeicherte Datei.