Autonome Agenten
Claude-Web ist ein von Anthropic betriebener Bot, der selbstständig im Web navigiert, um mehrstufige Aufgaben zu erledigen. Claude-Web ist ein KI-bezogener Agent, der von Anthropic betrieben wird. Ob er robots.txt beachtet, ist nicht dokumentiert, und zur Prüfung einer Anfrage, die sich als Claude-Web ausgibt, dient eine veröffentlichte Datei mit IP-Bereichen.
Anfrage gibt an
"Claude-Web"
Geprüft anhand
veröffentlichte IP-Bereiche von Anthropic
Live-Prüfung
Fügen Sie die Adresse aus der Logzeile ein. Sie wird mit den Angaben des Betreibers abgeglichen.
Referenz
| User-Agent | Claude-WebNur Token: auf den Teilstring prüfen. |
|---|---|
| Betreiber | Anthropic |
| Zweck | Autonome Agenten |
| Beachtet robots.txt | Keine Richtlinie |
| Verifizierungsmethode | IP-BereicheVeröffentlichte Datei mit IP-Bereichen Ein veralteter Token aus der Zeit vor der heutigen Bezeichnung ClaudeBot. Websitebetreiber finden ihn noch in alten Logs und alten robots.txt-Dateien. Prüfen Sie die veröffentlichte Präfixdatei, bevor Sie ihm vertrauen. |
| Crawl-Muster | Nicht veröffentlicht |
| robots.txt-Tokens | Claude-Web |
| Dokumentation des Betreibers | https://support.claude.com/en/articles/8896518-does-anthropic-crawl-data-from-the-web-and-how-can-site-owners-block-the-crawler |
Claude-Web ist ein KI-bezogener Agent, der von Anthropic betrieben wird. Wofür er genau eingesetzt wird, ist derzeit unklar, da es keine offizielle Dokumentation gibt. Wenn Sie nähere Informationen haben, kontaktieren Sie uns bitte.
robots.txt
Legen Sie eine davon im Stammverzeichnis Ihrer Domain ab. Regeln gelten pro Token.
User-agent: Claude-Web
Disallow: /User-agent: Claude-Web
Allow: /User-agent: Claude-Web
Allow: /
Disallow: /account/
Disallow: /checkout/
Disallow: /searchPassen Sie die Disallow-Pfade an Ihre eigenen URLs an.
Wenn Sie Claude-Web blockieren, unterbinden Sie automatisierte Sitzungen, die Formulare ausfüllen, Abläufe durchklicken und Seiten so lesen wie ein angemeldeter Benutzer. Rate Limits und Challenges wirken hier meist besser als eine robots.txt-Zeile.
Eine Datei für alle Crawler erstellenFAQ
Claude-Web ist ein von Anthropic betriebener Bot, der selbstständig im Web navigiert, um mehrstufige Aufgaben zu erledigen. Claude-Web ist ein KI-bezogener Agent, der von Anthropic betrieben wird. Ob er robots.txt beachtet, ist nicht dokumentiert, und zur Prüfung einer Anfrage, die sich als Claude-Web ausgibt, dient eine veröffentlichte Datei mit IP-Bereichen.
Nicht dokumentiert. Es gibt keine Aussage eines Betreibers dazu, ob Claude-Web robots.txt liest. Fügen Sie die Regel hinzu, prüfen Sie aber in Ihren Logs, ob die Anfragen tatsächlich aufhören.
Ein veralteter Token aus der Zeit vor der heutigen Bezeichnung ClaudeBot. Websitebetreiber finden ihn noch in alten Logs und alten robots.txt-Dateien. Prüfen Sie die veröffentlichte Präfixdatei, bevor Sie ihm vertrauen. Die Referenz ist unter https://claude.com/crawling/bots.json veröffentlicht.
Tragen Sie das Token Claude-Web mit Disallow: / in die robots.txt ein. Falls der Crawler robots.txt ignoriert, filtern Sie den User-Agent in Ihrem CDN oder Reverse Proxy und geben Sie dort stattdessen 403 zurück.
Wenn Sie Claude-Web blockieren, unterbinden Sie automatisierte Sitzungen, die Formulare ausfüllen, Abläufe durchklicken und Seiten so lesen wie ein angemeldeter Benutzer. Rate Limits und Challenges wirken hier meist besser als eine robots.txt-Zeile.