Crawlers de búsqueda con IA
Claude-SearchBot es un bot operado por Anthropic que indexa páginas para que un motor de respuestas con IA pueda citarlas. Claude-SearchBot navega por la web para mejorar la calidad de los resultados de búsqueda para los usuarios. Respeta robots.txt, y una solicitud que dice ser de Claude-SearchBot puede comprobarse con un archivo publicado de rangos de IP.
La solicitud dice
"Claude-SearchBot/1.0"
Se comprueba con
rangos de IP publicados de Anthropic
Comprobación en directo
Pega la dirección de la línea del log. Se compara con lo que publica el operador.
Referencia
| User agent | Mozilla/5.0 (compatible; Claude-SearchBot/1.0; +Claude-SearchBot@anthropic.com) |
|---|---|
| Operador | Anthropic |
| Finalidad | Claude-SearchBot navega por la web para mejorar la calidad de los resultados de búsqueda para los usuarios. Analiza el contenido en línea específicamente para mejorar la relevancia y la precisión de las respuestas de búsqueda. |
| Respeta robots.txt | Respetafuente |
| Método de verificación | Rangos de IPArchivo publicado de rangos de IP Indexa páginas para que Claude pueda citarlas en sus respuestas de búsqueda. Usa el mismo archivo de prefijos publicado que los demás agentes de Anthropic. |
| Patrón de rastreo | No publicado |
| Tokens de robots.txt | Claude-SearchBot |
| Documentación del operador | https://support.claude.com/en/articles/8896518-does-anthropic-crawl-data-from-the-web-and-how-can-site-owners-block-the-crawler |
Claude-SearchBot navega por la web para mejorar la calidad de los resultados de búsqueda para los usuarios. Analiza el contenido en línea específicamente para mejorar la relevancia y la precisión de las respuestas de búsqueda.
robots.txt
Pega una en la raíz de tu dominio. Las reglas se aplican por token.
User-agent: Claude-SearchBot
Disallow: /User-agent: Claude-SearchBot
Allow: /User-agent: Claude-SearchBot
Allow: /
Disallow: /account/
Disallow: /checkout/
Disallow: /searchCambia las rutas de Disallow para que coincidan con tus URLs.
Bloquear Claude-SearchBot saca el sitio del índice en el que se basan sus respuestas, así que deja de citarse allí. Si te importa el tráfico que llega desde respuestas de IA, bloquea mejor el rastreador de entrenamiento y deja este.
Crea un archivo para todos los rastreadoresFAQ
Claude-SearchBot es un bot operado por Anthropic que indexa páginas para que un motor de respuestas con IA pueda citarlas. Claude-SearchBot navega por la web para mejorar la calidad de los resultados de búsqueda para los usuarios. Respeta robots.txt, y una solicitud que dice ser de Claude-SearchBot puede comprobarse con un archivo publicado de rangos de IP.
Sí. El operador documenta que Claude-SearchBot lee robots.txt y respeta las reglas Disallow de su propio token. Las reglas se aplican la próxima vez que descarga el archivo, lo que puede ocurrir horas o días después de publicarlas.
Indexa páginas para que Claude pueda citarlas en sus respuestas de búsqueda. Usa el mismo archivo de prefijos publicado que los demás agentes de Anthropic. La referencia está publicada en https://claude.com/crawling/bots.json.
Añade el token Claude-SearchBot a robots.txt con Disallow: /. Si el rastreador ignora robots.txt, filtra el user agent en tu CDN o proxy inverso y devuelve allí un 403.
Bloquear Claude-SearchBot saca el sitio del índice en el que se basan sus respuestas, así que deja de citarse allí. Si te importa el tráfico que llega desde respuestas de IA, bloquea mejor el rastreador de entrenamiento y deja este.