Coding-Agenten
Claude-Code ist ein von Anthropic betriebener Bot, der Dokumentation und Beispiele abruft, während eine KI Code schreibt. Claude Code ist ein KI-Programmieragent von Anthropic, der Code direkt im Terminal erstellen, debuggen und ausliefern kann und Aufgaben wie die Einarbeitung in eine Codebasis, Änderungen über mehrere Dateien,…. Ob er robots.txt beachtet, ist nicht dokumentiert, und zur Prüfung einer Anfrage, die sich als Claude-Code ausgibt, dient eine veröffentlichte Datei mit IP-Bereichen.
Anfrage gibt an
"Claude-Code"
Geprüft anhand
veröffentlichte IP-Bereiche von Anthropic
Live-Prüfung
Fügen Sie die Adresse aus der Logzeile ein. Sie wird mit den Angaben des Betreibers abgeglichen.
Referenz
| User-Agent | Claude-CodeNur Token: auf den Teilstring prüfen. |
|---|---|
| Betreiber | Anthropic |
| Zweck | Coding-Agenten |
| Beachtet robots.txt | Keine Richtlinie |
| Verifizierungsmethode | IP-BereicheVeröffentlichte Datei mit IP-Bereichen Läuft auf dem Rechner eines Entwicklers oder einem CI-Runner, daher stammt die Quell-IP meist vom Entwickler und nicht von Anthropic. Die veröffentlichte Präfixdatei passt auf den Großteil dieses Traffics nicht. |
| Crawl-Muster | Nicht veröffentlicht |
| robots.txt-Tokens | Claude-Code |
| Dokumentation des Betreibers | https://support.claude.com/en/articles/8896518-does-anthropic-crawl-data-from-the-web-and-how-can-site-owners-block-the-crawler |
Claude Code ist ein KI-Programmieragent von Anthropic, der Code direkt im Terminal erstellen, debuggen und ausliefern kann und Aufgaben wie die Einarbeitung in eine Codebasis, Änderungen über mehrere Dateien,…
robots.txt
Legen Sie eine davon im Stammverzeichnis Ihrer Domain ab. Regeln gelten pro Token.
User-agent: Claude-Code
Disallow: /User-agent: Claude-Code
Allow: /User-agent: Claude-Code
Allow: /
Disallow: /account/
Disallow: /checkout/
Disallow: /searchPassen Sie die Disallow-Pfade an Ihre eigenen URLs an.
Das Blockieren von Claude-Code betrifft vor allem Entwickler, die Ihre Dokumentation über ein KI-Tool lesen. Diesen Traffic möchten die meisten Websites haben.
Eine Datei für alle Crawler erstellenFAQ
Claude-Code ist ein von Anthropic betriebener Bot, der Dokumentation und Beispiele abruft, während eine KI Code schreibt. Claude Code ist ein KI-Programmieragent von Anthropic, der Code direkt im Terminal erstellen, debuggen und ausliefern kann und Aufgaben wie die Einarbeitung in eine Codebasis, Änderungen über mehrere Dateien,…. Ob er robots.txt beachtet, ist nicht dokumentiert, und zur Prüfung einer Anfrage, die sich als Claude-Code ausgibt, dient eine veröffentlichte Datei mit IP-Bereichen.
Nicht dokumentiert. Es gibt keine Aussage eines Betreibers dazu, ob Claude-Code robots.txt liest. Fügen Sie die Regel hinzu, prüfen Sie aber in Ihren Logs, ob die Anfragen tatsächlich aufhören.
Läuft auf dem Rechner eines Entwicklers oder einem CI-Runner, daher stammt die Quell-IP meist vom Entwickler und nicht von Anthropic. Die veröffentlichte Präfixdatei passt auf den Großteil dieses Traffics nicht. Die Referenz ist unter https://claude.com/crawling/bots.json veröffentlicht.
Tragen Sie das Token Claude-Code mit Disallow: / in die robots.txt ein. Falls der Crawler robots.txt ignoriert, filtern Sie den User-Agent in Ihrem CDN oder Reverse Proxy und geben Sie dort stattdessen 403 zurück.
Das Blockieren von Claude-Code betrifft vor allem Entwickler, die Ihre Dokumentation über ein KI-Tool lesen. Diesen Traffic möchten die meisten Websites haben.