Robots de recherche IA
Claude-SearchBot est un bot exploité par Anthropic qui indexe des pages afin qu'un moteur de réponses IA puisse les citer. Claude-SearchBot parcourt le web pour améliorer la qualité des résultats de recherche proposés aux utilisateurs. Il respecte le fichier robots.txt. Moyen de vérifier une requête se réclamant de Claude-SearchBot : un fichier de plages d'IP publié.
La requête annonce
"Claude-SearchBot/1.0"
Comparé à
plages IP publiées (Anthropic)
Vérification en direct
Collez l'adresse figurant dans la ligne de journal. Elle est comparée aux informations publiées par l'opérateur.
Référence
| User agent | Mozilla/5.0 (compatible; Claude-SearchBot/1.0; +Claude-SearchBot@anthropic.com) |
|---|---|
| Opérateur | Anthropic |
| Finalité | Claude-SearchBot parcourt le web pour améliorer la qualité des résultats de recherche proposés aux utilisateurs. Il analyse les contenus en ligne dans le but précis d'améliorer la pertinence et l'exactitude des réponses de recherche. |
| Respecte robots.txt | Respectesource |
| Méthode de vérification | Plages d'IPFichier de plages d'IP publié Indexe les pages pour que Claude puisse les citer dans ses réponses de recherche. Même fichier de préfixes publié que pour les autres agents d'Anthropic. |
| Comportement d'exploration | Non publié |
| Jetons robots.txt | Claude-SearchBot |
| Documentation de l'opérateur | https://support.claude.com/en/articles/8896518-does-anthropic-crawl-data-from-the-web-and-how-can-site-owners-block-the-crawler |
Claude-SearchBot parcourt le web pour améliorer la qualité des résultats de recherche proposés aux utilisateurs. Il analyse les contenus en ligne dans le but précis d'améliorer la pertinence et l'exactitude des réponses de recherche.
robots.txt
Placez l'un de ces fichiers à la racine de votre domaine. Les règles s'appliquent jeton par jeton.
User-agent: Claude-SearchBot
Disallow: /User-agent: Claude-SearchBot
Allow: /User-agent: Claude-SearchBot
Allow: /
Disallow: /account/
Disallow: /checkout/
Disallow: /searchModifiez les chemins Disallow pour qu'ils correspondent à vos propres URL.
Bloquer Claude-SearchBot retire le site de l'index qui alimente ses réponses : il n'y sera plus cité. Si le trafic provenant des réponses IA compte pour vous, bloquez plutôt le crawler d'entraînement et laissez celui-ci accéder au site.
Générer un fichier pour tous les robotsFAQ
Claude-SearchBot est un bot exploité par Anthropic qui indexe des pages afin qu'un moteur de réponses IA puisse les citer. Claude-SearchBot parcourt le web pour améliorer la qualité des résultats de recherche proposés aux utilisateurs. Il respecte le fichier robots.txt. Moyen de vérifier une requête se réclamant de Claude-SearchBot : un fichier de plages d'IP publié.
Oui. L'opérateur indique que Claude-SearchBot lit le fichier robots.txt et respecte les règles Disallow visant son propre jeton. Les règles s'appliquent lors de la prochaine récupération du fichier, ce qui peut prendre plusieurs heures ou plusieurs jours après leur publication.
Indexe les pages pour que Claude puisse les citer dans ses réponses de recherche. Même fichier de préfixes publié que pour les autres agents d'Anthropic. La référence est publiée sur https://claude.com/crawling/bots.json.
Ajoutez le jeton Claude-SearchBot au fichier robots.txt avec Disallow: /. Si le crawler ignore robots.txt, filtrez le user agent au niveau de votre CDN ou de votre proxy inverse et renvoyez une erreur 403.
Bloquer Claude-SearchBot retire le site de l'index qui alimente ses réponses : il n'y sera plus cité. Si le trafic provenant des réponses IA compte pour vous, bloquez plutôt le crawler d'entraînement et laissez celui-ci accéder au site.