Codeeragents
Claude-Code is een bot van Anthropic die documentatie en voorbeelden ophaalt terwijl een AI code schrijft. Claude Code is een AI-codeeragent van Anthropic die vanuit de terminal code kan bouwen, debuggen en uitrollen. Of hij robots.txt respecteert is niet gedocumenteerd, en een verzoek dat zich uitgeeft als Claude-Code kun je controleren aan de hand van een gepubliceerd bestand met IP-ranges.
Verzoek meldt
"Claude-Code"
Gecontroleerd aan de hand van
gepubliceerde IP-bereiken van Anthropic
Live check
Plak het adres uit de logregel. Het wordt gecontroleerd aan de hand van wat de beheerder publiceert.
Referentie
| User agent | Claude-CodeAlleen token: match op de substring. |
|---|---|
| Beheerder | Anthropic |
| Doel | Codeeragents |
| Respecteert robots.txt | Geen beleid |
| Verificatiemethode | IP-bereikenGepubliceerd bestand met IP-ranges Draait op de computer van een ontwikkelaar of op een CI-runner. Het bron-IP is dus meestal van de ontwikkelaar en niet van Anthropic. Het gepubliceerde prefixbestand dekt het grootste deel van dit verkeer niet. |
| Crawlpatroon | Niet gepubliceerd |
| robots.txt-tokens | Claude-Code |
| Documentatie van de beheerder | https://support.claude.com/en/articles/8896518-does-anthropic-crawl-data-from-the-web-and-how-can-site-owners-block-the-crawler |
Claude Code is een AI-codeeragent van Anthropic die vanuit de terminal code kan bouwen, debuggen en uitrollen. Hij handelt taken af zoals het inwerken in een codebase, wijzigingen in meerdere bestanden,…
robots.txt
Plak er een in de root van je domein. Regels gelden per token.
User-agent: Claude-Code
Disallow: /User-agent: Claude-Code
Allow: /User-agent: Claude-Code
Allow: /
Disallow: /account/
Disallow: /checkout/
Disallow: /searchPas de Disallow-paden aan zodat ze overeenkomen met je eigen URL's.
Het blokkeren van Claude-Code raakt vooral ontwikkelaars die je documentatie via een AI-tool lezen. De meeste sites willen dat verkeer juist hebben.
Maak een bestand voor alle crawlersFAQ
Claude-Code is een bot van Anthropic die documentatie en voorbeelden ophaalt terwijl een AI code schrijft. Claude Code is een AI-codeeragent van Anthropic die vanuit de terminal code kan bouwen, debuggen en uitrollen. Of hij robots.txt respecteert is niet gedocumenteerd, en een verzoek dat zich uitgeeft als Claude-Code kun je controleren aan de hand van een gepubliceerd bestand met IP-ranges.
Niet gedocumenteerd. Geen enkele beheerder heeft verklaard of Claude-Code robots.txt leest. Voeg de regel dus toe, maar controleer in je logs of de verzoeken echt stoppen.
Draait op de computer van een ontwikkelaar of op een CI-runner. Het bron-IP is dus meestal van de ontwikkelaar en niet van Anthropic. Het gepubliceerde prefixbestand dekt het grootste deel van dit verkeer niet. De referentie is gepubliceerd op https://claude.com/crawling/bots.json.
Voeg het token Claude-Code toe aan robots.txt met Disallow: /. Negeert de crawler robots.txt, filter dan op de user agent in je CDN of reverse proxy en geef daar een 403 terug.
Het blokkeren van Claude-Code raakt vooral ontwikkelaars die je documentatie via een AI-tool lezen. De meeste sites willen dat verkeer juist hebben.