Agents autonomes
Claude-Web est un bot exploité par Anthropic qui navigue sur le web de manière autonome pour accomplir des tâches en plusieurs étapes. Claude-Web est un agent lié à l'IA exploité par Anthropic. Son respect du fichier robots.txt n'est pas documenté. Moyen de vérifier une requête se réclamant de Claude-Web : un fichier de plages d'IP publié.
La requête annonce
"Claude-Web"
Comparé à
plages IP publiées (Anthropic)
Vérification en direct
Collez l'adresse figurant dans la ligne de journal. Elle est comparée aux informations publiées par l'opérateur.
Référence
| User agent | Claude-WebJeton seul : recherchez la sous-chaîne. |
|---|---|
| Opérateur | Anthropic |
| Finalité | Agents autonomes |
| Respecte robots.txt | Aucune politique |
| Méthode de vérification | Plages d'IPFichier de plages d'IP publié Un ancien jeton, antérieur au nom actuel ClaudeBot. Les propriétaires de sites le voient encore dans d'anciens journaux et d'anciens fichiers robots.txt ; vérifiez le fichier de préfixes publié avant de lui faire confiance. |
| Comportement d'exploration | Non publié |
| Jetons robots.txt | Claude-Web |
| Documentation de l'opérateur | https://support.claude.com/en/articles/8896518-does-anthropic-crawl-data-from-the-web-and-how-can-site-owners-block-the-crawler |
Claude-Web est un agent lié à l'IA exploité par Anthropic. Son usage exact n'est pas connu à ce jour, faute de documentation officielle. Si vous disposez de plus d'informations, merci de nous contacter.
robots.txt
Placez l'un de ces fichiers à la racine de votre domaine. Les règles s'appliquent jeton par jeton.
User-agent: Claude-Web
Disallow: /User-agent: Claude-Web
Allow: /User-agent: Claude-Web
Allow: /
Disallow: /account/
Disallow: /checkout/
Disallow: /searchModifiez les chemins Disallow pour qu'ils correspondent à vos propres URL.
Bloquer Claude-Web arrête les sessions automatisées qui remplissent des formulaires, parcourent des étapes et lisent des pages comme le ferait un utilisateur connecté. La limitation de débit et les challenges sont généralement plus efficaces ici qu'une ligne dans robots.txt.
Générer un fichier pour tous les robotsFAQ
Claude-Web est un bot exploité par Anthropic qui navigue sur le web de manière autonome pour accomplir des tâches en plusieurs étapes. Claude-Web est un agent lié à l'IA exploité par Anthropic. Son respect du fichier robots.txt n'est pas documenté. Moyen de vérifier une requête se réclamant de Claude-Web : un fichier de plages d'IP publié.
Non documenté. Aucune déclaration de l'opérateur n'indique si Claude-Web lit le fichier robots.txt. Ajoutez la règle, puis vérifiez dans vos journaux que les requêtes cessent réellement.
Un ancien jeton, antérieur au nom actuel ClaudeBot. Les propriétaires de sites le voient encore dans d'anciens journaux et d'anciens fichiers robots.txt ; vérifiez le fichier de préfixes publié avant de lui faire confiance. La référence est publiée sur https://claude.com/crawling/bots.json.
Ajoutez le jeton Claude-Web au fichier robots.txt avec Disallow: /. Si le crawler ignore robots.txt, filtrez le user agent au niveau de votre CDN ou de votre proxy inverse et renvoyez une erreur 403.
Bloquer Claude-Web arrête les sessions automatisées qui remplissent des formulaires, parcourent des étapes et lisent des pages comme le ferait un utilisateur connecté. La limitation de débit et les challenges sont généralement plus efficaces ici qu'une ligne dans robots.txt.