Agentes autónomos
Claude-Web es un bot operado por Anthropic que navega por la web por su cuenta para completar tareas de varios pasos. Claude-Web es un agente relacionado con la IA operado por Anthropic. No está documentado si respeta robots.txt, y una solicitud que dice ser de Claude-Web puede comprobarse con un archivo publicado de rangos de IP.
La solicitud dice
"Claude-Web"
Se comprueba con
rangos de IP publicados de Anthropic
Comprobación en directo
Pega la dirección de la línea del log. Se compara con lo que publica el operador.
Referencia
| User agent | Claude-WebSolo token: busca coincidencias con la subcadena. |
|---|---|
| Operador | Anthropic |
| Finalidad | Agentes autónomos |
| Respeta robots.txt | Sin política |
| Método de verificación | Rangos de IPArchivo publicado de rangos de IP Un token heredado, anterior a la denominación actual de ClaudeBot. Los propietarios de sitios aún lo ven en registros antiguos y en archivos robots.txt antiguos; consulta el archivo de prefijos publicado antes de fiarte de él. |
| Patrón de rastreo | No publicado |
| Tokens de robots.txt | Claude-Web |
| Documentación del operador | https://support.claude.com/en/articles/8896518-does-anthropic-crawl-data-from-the-web-and-how-can-site-owners-block-the-crawler |
Claude-Web es un agente relacionado con la IA operado por Anthropic. Por ahora no está claro para qué se usa exactamente, ya que no hay documentación oficial. Si puedes aportar más detalles, contacta con nosotros.
robots.txt
Pega una en la raíz de tu dominio. Las reglas se aplican por token.
User-agent: Claude-Web
Disallow: /User-agent: Claude-Web
Allow: /User-agent: Claude-Web
Allow: /
Disallow: /account/
Disallow: /checkout/
Disallow: /searchCambia las rutas de Disallow para que coincidan con tus URLs.
Bloquear Claude-Web detiene las sesiones automatizadas que rellenan formularios, recorren flujos y leen páginas como lo haría un usuario con sesión iniciada. Aquí suelen funcionar mejor los límites de frecuencia y los desafíos que una línea en robots.txt.
Crea un archivo para todos los rastreadoresFAQ
Claude-Web es un bot operado por Anthropic que navega por la web por su cuenta para completar tareas de varios pasos. Claude-Web es un agente relacionado con la IA operado por Anthropic. No está documentado si respeta robots.txt, y una solicitud que dice ser de Claude-Web puede comprobarse con un archivo publicado de rangos de IP.
No está documentado. Ninguna declaración del operador indica si Claude-Web lee robots.txt, así que añade la regla pero comprueba en tus registros que las solicitudes realmente se detienen.
Un token heredado, anterior a la denominación actual de ClaudeBot. Los propietarios de sitios aún lo ven en registros antiguos y en archivos robots.txt antiguos; consulta el archivo de prefijos publicado antes de fiarte de él. La referencia está publicada en https://claude.com/crawling/bots.json.
Añade el token Claude-Web a robots.txt con Disallow: /. Si el rastreador ignora robots.txt, filtra el user agent en tu CDN o proxy inverso y devuelve allí un 403.
Bloquear Claude-Web detiene las sesiones automatizadas que rellenan formularios, recorren flujos y leen páginas como lo haría un usuario con sesión iniciada. Aquí suelen funcionar mejor los límites de frecuencia y los desafíos que una línea en robots.txt.