Trainings-Crawler
anthropic-ai ist ein von Anthropic betriebener Bot, der Seiten sammelt, mit denen KI-Modelle trainiert werden. Sammelt Daten zum Trainieren von LLMs und KI-Produkten von Anthropic. Ob er robots.txt beachtet, ist nicht dokumentiert, und zur Prüfung einer Anfrage, die sich als anthropic-ai ausgibt, dient eine veröffentlichte Datei mit IP-Bereichen.
Anfrage gibt an
"anthropic-ai"
Geprüft anhand
veröffentlichte IP-Bereiche von Anthropic
Live-Prüfung
Fügen Sie die Adresse aus der Logzeile ein. Sie wird mit den Angaben des Betreibers abgeglichen.
Referenz
| User-Agent | anthropic-aiNur Token: auf den Teilstring prüfen. |
|---|---|
| Betreiber | Anthropic |
| Zweck | Sammelt Daten zum Trainieren der KI-Produkte von Anthropic. |
| Beachtet robots.txt | Keine Richtlinie |
| Verifizierungsmethode | IP-BereicheVeröffentlichte Datei mit IP-Bereichen Ein älterer Token, der häufig in robots.txt-Dateien übernommen wurde. Anthropic kennzeichnet seine Crawler inzwischen als ClaudeBot, Claude-User und Claude-SearchBot. Behalten Sie diese Regel also bei, verlassen Sie sich aber nicht allein darauf. |
| Crawl-Muster | Nicht veröffentlicht |
| robots.txt-Tokens | anthropic-ai |
| Dokumentation des Betreibers | https://support.claude.com/en/articles/8896518-does-anthropic-crawl-data-from-the-web-and-how-can-site-owners-block-the-crawler |
Sammelt Daten zum Trainieren von LLMs und KI-Produkten von Anthropic.
robots.txt
Legen Sie eine davon im Stammverzeichnis Ihrer Domain ab. Regeln gelten pro Token.
User-agent: anthropic-ai
Disallow: /User-agent: anthropic-ai
Allow: /User-agent: anthropic-ai
Allow: /
Disallow: /account/
Disallow: /checkout/
Disallow: /searchPassen Sie die Disallow-Pfade an Ihre eigenen URLs an.
Wenn Sie anthropic-ai blockieren, fließen Ihre Seiten nicht in den nächsten Trainingslauf ein. Bereits gesammelte Inhalte werden dadurch nicht entfernt, und auf das Ranking der Website in der normalen Suche hat das keinen Einfluss.
Eine Datei für alle Crawler erstellenFAQ
anthropic-ai ist ein von Anthropic betriebener Bot, der Seiten sammelt, mit denen KI-Modelle trainiert werden. Sammelt Daten zum Trainieren von LLMs und KI-Produkten von Anthropic. Ob er robots.txt beachtet, ist nicht dokumentiert, und zur Prüfung einer Anfrage, die sich als anthropic-ai ausgibt, dient eine veröffentlichte Datei mit IP-Bereichen.
Nicht dokumentiert. Es gibt keine Aussage eines Betreibers dazu, ob anthropic-ai robots.txt liest. Fügen Sie die Regel hinzu, prüfen Sie aber in Ihren Logs, ob die Anfragen tatsächlich aufhören.
Ein älterer Token, der häufig in robots.txt-Dateien übernommen wurde. Anthropic kennzeichnet seine Crawler inzwischen als ClaudeBot, Claude-User und Claude-SearchBot. Behalten Sie diese Regel also bei, verlassen Sie sich aber nicht allein darauf. Die Referenz ist unter https://claude.com/crawling/bots.json veröffentlicht.
Tragen Sie das Token anthropic-ai mit Disallow: / in die robots.txt ein. Falls der Crawler robots.txt ignoriert, filtern Sie den User-Agent in Ihrem CDN oder Reverse Proxy und geben Sie dort stattdessen 403 zurück.
Wenn Sie anthropic-ai blockieren, fließen Ihre Seiten nicht in den nächsten Trainingslauf ein. Bereits gesammelte Inhalte werden dadurch nicht entfernt, und auf das Ranking der Website in der normalen Suche hat das keinen Einfluss.