Robots d'entraînement
ClaudeBot est un bot exploité par Anthropic qui collecte des pages servant à entraîner des modèles d'IA. Collecte des données pour entraîner les LLM et les produits d'IA proposés par Anthropic. Il respecte le fichier robots.txt. Moyen de vérifier une requête se réclamant de ClaudeBot : un fichier de plages d'IP publié.
La requête annonce
"ClaudeBot/1.0"
Comparé à
plages IP publiées (Anthropic)
Vérification en direct
Collez l'adresse figurant dans la ligne de journal. Elle est comparée aux informations publiées par l'opérateur.
Référence
| User agent | Mozilla/5.0 (compatible; ClaudeBot/1.0; +claudebot@anthropic.com) |
|---|---|
| Opérateur | Anthropic |
| Finalité | Collecte des données pour entraîner les produits d'IA d'Anthropic. |
| Respecte robots.txt | Respectesource |
| Méthode de vérification | Plages d'IPFichier de plages d'IP publié Anthropic publie un fichier de préfixes unique couvrant ClaudeBot, Claude-User et Claude-SearchBot. Une requête se présentant comme ClaudeBot depuis une adresse hors de ces préfixes est une usurpation. |
| Comportement d'exploration | Non publié |
| Jetons robots.txt | ClaudeBot |
| Documentation de l'opérateur | https://support.claude.com/en/articles/8896518-does-anthropic-crawl-data-from-the-web-and-how-can-site-owners-block-the-crawler |
Collecte des données pour entraîner les LLM et les produits d'IA proposés par Anthropic.
robots.txt
Placez l'un de ces fichiers à la racine de votre domaine. Les règles s'appliquent jeton par jeton.
User-agent: ClaudeBot
Disallow: /User-agent: ClaudeBot
Allow: /User-agent: ClaudeBot
Allow: /
Disallow: /account/
Disallow: /checkout/
Disallow: /searchModifiez les chemins Disallow pour qu'ils correspondent à vos propres URL.
Bloquer ClaudeBot exclut vos pages des prochaines sessions d'entraînement. Cela ne supprime pas les données déjà collectées et n'a aucun effet sur le classement du site dans les résultats de recherche classiques.
Générer un fichier pour tous les robotsFAQ
ClaudeBot est un bot exploité par Anthropic qui collecte des pages servant à entraîner des modèles d'IA. Collecte des données pour entraîner les LLM et les produits d'IA proposés par Anthropic. Il respecte le fichier robots.txt. Moyen de vérifier une requête se réclamant de ClaudeBot : un fichier de plages d'IP publié.
Oui. L'opérateur indique que ClaudeBot lit le fichier robots.txt et respecte les règles Disallow visant son propre jeton. Les règles s'appliquent lors de la prochaine récupération du fichier, ce qui peut prendre plusieurs heures ou plusieurs jours après leur publication.
Anthropic publie un fichier de préfixes unique couvrant ClaudeBot, Claude-User et Claude-SearchBot. Une requête se présentant comme ClaudeBot depuis une adresse hors de ces préfixes est une usurpation. La référence est publiée sur https://claude.com/crawling/bots.json.
Ajoutez le jeton ClaudeBot au fichier robots.txt avec Disallow: /. Si le crawler ignore robots.txt, filtrez le user agent au niveau de votre CDN ou de votre proxy inverse et renvoyez une erreur 403.
Bloquer ClaudeBot exclut vos pages des prochaines sessions d'entraînement. Cela ne supprime pas les données déjà collectées et n'a aucun effet sur le classement du site dans les résultats de recherche classiques.