Robots d'entraînement
anthropic-ai est un bot exploité par Anthropic qui collecte des pages servant à entraîner des modèles d'IA. Collecte des données pour entraîner les LLM et les produits d'IA proposés par Anthropic. Son respect du fichier robots.txt n'est pas documenté. Moyen de vérifier une requête se réclamant de anthropic-ai : un fichier de plages d'IP publié.
La requête annonce
"anthropic-ai"
Comparé à
plages IP publiées (Anthropic)
Vérification en direct
Collez l'adresse figurant dans la ligne de journal. Elle est comparée aux informations publiées par l'opérateur.
Référence
| User agent | anthropic-aiJeton seul : recherchez la sous-chaîne. |
|---|---|
| Opérateur | Anthropic |
| Finalité | Collecte des données pour entraîner les produits d'IA d'Anthropic. |
| Respecte robots.txt | Aucune politique |
| Méthode de vérification | Plages d'IPFichier de plages d'IP publié Un ancien jeton largement recopié dans les fichiers robots.txt. Anthropic identifie désormais ses robots sous les noms ClaudeBot, Claude-User et Claude-SearchBot : conservez cette règle, mais ne comptez pas uniquement sur elle. |
| Comportement d'exploration | Non publié |
| Jetons robots.txt | anthropic-ai |
| Documentation de l'opérateur | https://support.claude.com/en/articles/8896518-does-anthropic-crawl-data-from-the-web-and-how-can-site-owners-block-the-crawler |
Collecte des données pour entraîner les LLM et les produits d'IA proposés par Anthropic.
robots.txt
Placez l'un de ces fichiers à la racine de votre domaine. Les règles s'appliquent jeton par jeton.
User-agent: anthropic-ai
Disallow: /User-agent: anthropic-ai
Allow: /User-agent: anthropic-ai
Allow: /
Disallow: /account/
Disallow: /checkout/
Disallow: /searchModifiez les chemins Disallow pour qu'ils correspondent à vos propres URL.
Bloquer anthropic-ai exclut vos pages des prochaines sessions d'entraînement. Cela ne supprime pas les données déjà collectées et n'a aucun effet sur le classement du site dans les résultats de recherche classiques.
Générer un fichier pour tous les robotsFAQ
anthropic-ai est un bot exploité par Anthropic qui collecte des pages servant à entraîner des modèles d'IA. Collecte des données pour entraîner les LLM et les produits d'IA proposés par Anthropic. Son respect du fichier robots.txt n'est pas documenté. Moyen de vérifier une requête se réclamant de anthropic-ai : un fichier de plages d'IP publié.
Non documenté. Aucune déclaration de l'opérateur n'indique si anthropic-ai lit le fichier robots.txt. Ajoutez la règle, puis vérifiez dans vos journaux que les requêtes cessent réellement.
Un ancien jeton largement recopié dans les fichiers robots.txt. Anthropic identifie désormais ses robots sous les noms ClaudeBot, Claude-User et Claude-SearchBot : conservez cette règle, mais ne comptez pas uniquement sur elle. La référence est publiée sur https://claude.com/crawling/bots.json.
Ajoutez le jeton anthropic-ai au fichier robots.txt avec Disallow: /. Si le crawler ignore robots.txt, filtrez le user agent au niveau de votre CDN ou de votre proxy inverse et renvoyez une erreur 403.
Bloquer anthropic-ai exclut vos pages des prochaines sessions d'entraînement. Cela ne supprime pas les données déjà collectées et n'a aucun effet sur le classement du site dans les résultats de recherche classiques.