Crawlers de entrenamiento: token de user agent, operador, cómo se puede verificar y su política de robots.txt
Crawler	Operador	Verificación	robots.txt
AI2BotAi2Bot-Dolma	Ai2	Solo declarado	robots.txt:Respeta
anthropic-ai	Anthropic	Rangos de IP	robots.txt:Sin política
Applebot-Extended	Apple	Solo token	robots.txt:Respeta
Bytespider	ByteDance	Solo declarado	robots.txt:Ignora
ClaudeBot	Anthropic	Rangos de IP	robots.txt:Respeta
cohere-ai	Cohere	Solo declarado	robots.txt:Sin política
Cotoyogi	ROIS	Solo declarado	robots.txt:Respeta
DeepSeekBot	DeepSeek	Solo declarado	robots.txt:Ignora
FacebookBot	Meta/Facebook	ASN del operador	robots.txt:Respeta
Factset_spyderbot	Factset	Solo declarado	robots.txt:Sin política
FriendlyCrawler	Unknown	Solo declarado	robots.txt:Respeta
Google-Extended	Google	Solo token	robots.txt:Respeta
GPTBot	OpenAI	Rangos de IP	robots.txt:Respeta
ICC-Crawler	NICT	Solo declarado	robots.txt:Respeta
img2dataset	img2dataset	Solo declarado	robots.txt:Sin política
ISSCyberRiskCrawler	ISS-Corporate	Solo declarado	robots.txt:Ignora
Linguee Bot	Linguee	Solo declarado	robots.txt:Ignora
Meta-ExternalAgentmeta-externalagent	Meta	ASN del operador	robots.txt:Respeta
Scrapy	Zyte	Solo declarado	robots.txt:Sin política
Sidetrade indexer bot	Sidetrade	Solo declarado	robots.txt:Sin política
TikTokSpider	ByteDance	Solo declarado	robots.txt:Sin política

Crawlers de búsqueda con IA

Construyen el índice del que cita un motor de respuestas con IA. Si bloqueas uno, desapareces de sus respuestas.

Crawlers de búsqueda con IA: token de user agent, operador, cómo se puede verificar y su política de robots.txt
Crawler	Operador	Verificación	robots.txt
AddSearchBot	Sin identificar	Solo declarado	robots.txt:Sin política
AIWebIndexAIWebIndex-Agent	Lyrenth (Aleksma Ai, Inc.)	Rangos de IP + DNS	robots.txt:Respeta
amazon-kendra	Amazon	Solo declarado	robots.txt:Respeta
Amazonbot	Amazon	DNS inverso	robots.txt:Respeta
Amzn-SearchBot	Amazon	DNS inverso	robots.txt:Sin política
Andibot	Andi	Solo declarado	robots.txt:Sin política
Anomura	Direqt	Solo declarado	robots.txt:Respeta
Applebot	Apple	Rangos de IP + DNS	robots.txt:Respeta
atlassian-bot	Atlassian	Solo declarado	robots.txt:Respeta
AzureAI-SearchBot	Microsoft	Solo declarado	robots.txt:Sin política
Bingbot	Microsoft	Rangos de IP + DNS	robots.txt:Respeta
Channel3Bot	Sin identificar	Solo declarado	robots.txt:Sin política
Claude-SearchBot	Anthropic	Rangos de IP	robots.txt:Respeta
Cloudflare-AutoRAG	Cloudflare	Solo declarado	robots.txt:Respeta
DuckDuckBot	DuckDuckGo	Rangos de IP	robots.txt:Respeta
ExaSearchBot	Exa	Solo declarado	robots.txt:Sin política
Googlebot	Google	Rangos de IP + DNS	robots.txt:Respeta
GoogleOther	Google	Rangos de IP + DNS	robots.txt:Respeta
GoogleOther-Image	Google	Rangos de IP + DNS	robots.txt:Respeta
GoogleOther-Video	Google	Rangos de IP + DNS	robots.txt:Respeta
ImagesiftBot	ImageSift	Solo declarado	robots.txt:Respeta
LinkupBot	Linkup	Solo declarado	robots.txt:Sin política
meta-webindexer	Meta	ASN del operador	robots.txt:Sin política
OAI-SearchBot	OpenAI	Rangos de IP	robots.txt:Respeta
PerplexityBot	Perplexity	Rangos de IP	robots.txt:Respeta
PetalBot	Huawei	Solo declarado	robots.txt:Respeta
Timpibot	Timpi	Solo declarado	robots.txt:Sin política
YouBot	You	Solo declarado	robots.txt:Respeta
ZanistaBot	Sin identificar	Solo declarado	robots.txt:Sin política

Fetchers de asistentes

Obtienen una sola página porque alguien le preguntó a un asistente por ella. Algunos ignoran robots.txt.

Fetchers de asistentes: token de user agent, operador, cómo se puede verificar y su política de robots.txt
Crawler	Operador	Verificación	robots.txt
AI2Bot-DeepResearchEval	Ai2, a non-profit AI research institute	Solo declarado	robots.txt:Sin política
amazon-QBusiness	Amazon Web Services	Solo declarado	robots.txt:Sin política
Amzn-User	Amazon	DNS inverso	robots.txt:Sin política
bigsur.ai	Sin identificar	Solo declarado	robots.txt:Sin política
ChatGPT-User	OpenAI	Rangos de IP	robots.txt:Respeta
Claude-User	Anthropic	Rangos de IP	robots.txt:Respeta
DuckAssistBot	Sin identificar	Rangos de IP	robots.txt:Respeta
GeistHaus-PageFetcher	Sin identificar	Solo declarado	robots.txt:Sin política
Gemini-Deep-Research	Google	Solo declarado	robots.txt:Sin política
Google-NotebookLMNotebookLM	Google	Rangos de IP	robots.txt:Sin política
GoogleAgent-URLContext	Google	Solo declarado	robots.txt:Sin política
kagi-fetcher	Sin identificar	Solo declarado	robots.txt:Sin política
Kimi-User	Moonshot AI	Solo declarado	robots.txt:Sin política
KlaviyoAIBot	Klaviyo	Solo declarado	robots.txt:Respeta
LinerBot	Sin identificar	Solo declarado	robots.txt:Sin política
Meta-ExternalFetchermeta-externalfetcher	Meta	ASN del operador	robots.txt:Ignora
MistralAI-UserMistralAI-User/1.0	Mistral	Solo declarado	robots.txt:Sin política
Perplexity-User	Perplexity	Rangos de IP	robots.txt:Ignora
PhindBot	phind	Solo declarado	robots.txt:Sin política
Poggio-Citations	Sin identificar	Solo declarado	robots.txt:Sin política
QualifiedBot	Qualified	Solo declarado	robots.txt:Sin política
SemrushBot-SWA	Semrush	Solo declarado	robots.txt:Respeta
Shap-User	Parallel	Solo declarado	robots.txt:Sin política
TongyiBot	Alibaba	Solo declarado	robots.txt:Sin política
UseAI	Sin identificar	Solo declarado	robots.txt:Sin política
YiyanBot	Baidu that fetches web content for the yiyan	Solo declarado	robots.txt:Sin política

Agentes autónomos

Manejan un navegador en tareas de varios pasos, de forma parecida a una sesión humana.

Agentes autónomos: token de user agent, operador, cómo se puede verificar y su política de robots.txt
Crawler	Operador	Verificación	robots.txt
AmazonBuyForMe	Amazon	Solo declarado	robots.txt:Sin política
Aranet-SearchBot	Sin identificar	Solo declarado	robots.txt:Sin política
ChatGPT Agent	OpenAI	Rangos de IP	robots.txt:Respeta
Claude-Web	Anthropic	Rangos de IP	robots.txt:Sin política
Crawl4AI	Crawl4AI (open source)	Solo declarado	robots.txt:Sin política
Google-Agent	Google	Solo declarado	robots.txt:Respeta
Google-CloudVertexBotCloudVertexBot	Google	Rangos de IP	robots.txt:Respeta
GoogleAgent-Mariner	Google	Solo declarado	robots.txt:Sin política
iAskBotiaskspider, iaskspider/2.0	iAsk	Solo declarado	robots.txt:Sin política
KunatoCrawler	Sin identificar	Solo declarado	robots.txt:Sin política
Manus-User	Butterfly Effect, a company based in China	Solo declarado	robots.txt:Sin política
NagetBot	Sin identificar	Solo declarado	robots.txt:Sin política
newsai	Sin identificar	Solo declarado	robots.txt:Sin política
NovaAct	Amazon	Solo declarado	robots.txt:Sin política
Operator	OpenAI	Rangos de IP	robots.txt:Sin política
Reflectionbot	Reflection	Solo declarado	robots.txt:Sin política
TwinAgent	Sin identificar	Solo declarado	robots.txt:Sin política
WRTNBot	Wrtn Technologies	Solo declarado	robots.txt:Sin política

Agentes de programación

Descargan documentación y ejemplos mientras una IA escribe código, a menudo desde el equipo de un desarrollador.

Agentes de programación: token de user agent, operador, cómo se puede verificar y su política de robots.txt
Crawler	Operador	Verificación	robots.txt
Claude-Code	Anthropic	Rangos de IP	robots.txt:Sin política
Code	GitHub Copilot	Solo declarado	robots.txt:Sin política
Cursor	Cursor	Solo declarado	robots.txt:Sin política
Devin	Devin AI	Solo declarado	robots.txt:Respeta
Google-Gemini-CLI	Google	Solo declarado	robots.txt:Sin política
opencode	opencode (open source)	Solo declarado	robots.txt:Sin política
Trae	ByteDance	Solo declarado	robots.txt:Sin política

Creadores de datasets

Recopilan páginas en datasets que pueden reutilizarse, licenciarse o compartirse.

Creadores de datasets: token de user agent, operador, cómo se puede verificar y su política de robots.txt
Crawler	Operador	Verificación	robots.txt
AgentTimes	The Agent Times	Solo declarado	robots.txt:Sin política
aiHitBot	aiHit	Solo declarado	robots.txt:Respeta
ApifyBot	Sin identificar	Solo declarado	robots.txt:Sin política
ApifyWebsiteContentCrawler	Sin identificar	Solo declarado	robots.txt:Sin política
Awario	Awario	Solo declarado	robots.txt:Sin política
bedrockbot	Amazon	Solo declarado	robots.txt:Respeta
Bravebot	Brave	Solo declarado	robots.txt:Respeta
BrightbotBrightbot 1.0	Sin identificar	Solo declarado	robots.txt:Sin política
CCBot	Common Crawl Foundation	Solo declarado	robots.txt:Respeta
ChatGLM-Spider	Zhipu AI	Solo declarado	robots.txt:Sin política
cohere-training-data-crawler	Cohere	Solo declarado	robots.txt:Sin política
CragCrawler	Sin identificar	Solo declarado	robots.txt:Sin política
Crawlspace	Crawlspace	Solo declarado	robots.txt:Respeta
Datenbank Crawler	Datenbank	Solo declarado	robots.txt:Sin política
Diffbot	Diffbot	Solo declarado	robots.txt:Sin política
Echobot Bot	Echobox	Solo declarado	robots.txt:Sin política
ExaBot	Exa	Solo declarado	robots.txt:Sin política
FirecrawlAgent	Firecrawl	Solo declarado	robots.txt:Respeta
HenkBot	Sin identificar	Solo declarado	robots.txt:Sin política
imageSpider	Sin identificar	Solo declarado	robots.txt:Sin política
Kangaroo Bot	Kangaroo LLM	Solo declarado	robots.txt:Sin política
laion-huggingface-processor	LAION	Solo declarado	robots.txt:Sin política
LAIONDownloader	Large-scale Artificial Intelligence Open Network	Solo declarado	robots.txt:Ignora
LCC	Sin identificar	Solo declarado	robots.txt:Sin política
Lightpanda	Sin identificar	Solo declarado	robots.txt:Sin política
Mozilla-Tabstack	Mozilla	Solo declarado	robots.txt:Respeta
MyCentralAIScraperBot	Sin identificar	Solo declarado	robots.txt:Sin política
netEstate Imprint Crawler	netEstate	Solo declarado	robots.txt:Sin política
omgiliomgilibot	Webz.io	Solo declarado	robots.txt:Respeta
PanguBot	the Chinese company Huawei	Solo declarado	robots.txt:Sin política
QueritBotQuerit-SearchBot	Querit	Solo declarado	robots.txt:Sin política
SemrushBot-OCOB	Semrush	Solo declarado	robots.txt:Respeta
ShapBot	Parallel	Solo declarado	robots.txt:Respeta
Spider	Sin identificar	Solo declarado	robots.txt:Sin política
TavilyBot	Tavily	Solo declarado	robots.txt:Sin política
TerraCottaTerra Cotta	Ceramic AI	Solo declarado	robots.txt:Respeta
VelenPublicWebCrawler	Velen Crawler	Solo declarado	robots.txt:Respeta
WARDBot	WEBSPARK	Solo declarado	robots.txt:Sin política
Webzio-Extendedwebzio-extended	Sin identificar	Solo declarado	robots.txt:Sin política
YandexAdditionalYandexAdditionalBot	Yandex	DNS inverso	robots.txt:Respeta

Otros crawlers automatizados

Bots de flujos de trabajo de IA que no encajan en ninguna de las categorías anteriores.

Otros crawlers automatizados: token de user agent, operador, cómo se puede verificar y su política de robots.txt
Crawler	Operador	Verificación	robots.txt
BuddyBot	BuddyBotLearning	Solo declarado	robots.txt:Sin política
EchoboxBot	Echobox	Solo declarado	robots.txt:Sin política
facebookexternalhit	Meta/Facebook	ASN del operador	robots.txt:Ignora
Google-Firebase	Google	Solo declarado	robots.txt:Sin política
OpenAI	OpenAI	Rangos de IP	robots.txt:Respeta
Panscientpanscient.com	Panscient	Solo declarado	robots.txt:Respeta
Poseidon Research Crawler	Poseidon Research	Solo declarado	robots.txt:Sin política
QuillBotquillbot.com	Quillbot	Solo declarado	robots.txt:Sin política
SBIntuitionsBot	SB Intuitions	Solo declarado	robots.txt:Respeta
Thinkbot	Thinkbot	Solo declarado	robots.txt:Ignora
wpbot	QuantumCloud	Solo declarado	robots.txt:Sin política
YaK	Meltwater	Solo declarado	robots.txt:Sin política

robots.txt

Bloquea todos los crawlers de IA a la vez

Una regla por token, alias incluidos. 9 de ellos ignoran el archivo, así que combínalo con reglas en el edge.

Bloquear los 153 crawlers

User-agent: AddSearchBot
User-agent: AgentTimes
User-agent: AI2Bot
User-agent: AI2Bot-DeepResearchEval
User-agent: Ai2Bot-Dolma
User-agent: aiHitBot
User-agent: AIWebIndex
User-agent: AIWebIndex-Agent
User-agent: amazon-kendra
User-agent: amazon-QBusiness
User-agent: Amazonbot
User-agent: AmazonBuyForMe
User-agent: Amzn-SearchBot
User-agent: Amzn-User
User-agent: Andibot
User-agent: Anomura
User-agent: anthropic-ai
User-agent: ApifyBot
User-agent: ApifyWebsiteContentCrawler
User-agent: Applebot
User-agent: Applebot-Extended
User-agent: Aranet-SearchBot
User-agent: atlassian-bot
User-agent: Awario
User-agent: AzureAI-SearchBot
User-agent: bedrockbot
User-agent: bigsur.ai
User-agent: Bingbot
User-agent: Bravebot
User-agent: Brightbot
User-agent: Brightbot 1.0
User-agent: BuddyBot
User-agent: Bytespider
User-agent: CCBot
User-agent: Channel3Bot
User-agent: ChatGLM-Spider
User-agent: ChatGPT Agent
User-agent: ChatGPT-User
User-agent: Claude-Code
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: Claude-Web
User-agent: ClaudeBot
User-agent: Cloudflare-AutoRAG
User-agent: CloudVertexBot
User-agent: Code
User-agent: cohere-ai
User-agent: cohere-training-data-crawler
User-agent: Cotoyogi
User-agent: CragCrawler
User-agent: Crawl4AI
User-agent: Crawlspace
User-agent: Cursor
User-agent: Datenbank Crawler
User-agent: DeepSeekBot
User-agent: Devin
User-agent: Diffbot
User-agent: DuckAssistBot
User-agent: DuckDuckBot
User-agent: Echobot Bot
User-agent: EchoboxBot
User-agent: ExaBot
User-agent: ExaSearchBot
User-agent: FacebookBot
User-agent: facebookexternalhit
User-agent: Factset_spyderbot
User-agent: FirecrawlAgent
User-agent: FriendlyCrawler
User-agent: GeistHaus-PageFetcher
User-agent: Gemini-Deep-Research
User-agent: Google-Agent
User-agent: Google-CloudVertexBot
User-agent: Google-Extended
User-agent: Google-Firebase
User-agent: Google-Gemini-CLI
User-agent: Google-NotebookLM
User-agent: GoogleAgent-Mariner
User-agent: GoogleAgent-URLContext
User-agent: Googlebot
User-agent: GoogleOther
User-agent: GoogleOther-Image
User-agent: GoogleOther-Video
User-agent: GPTBot
User-agent: HenkBot
User-agent: iAskBot
User-agent: iaskspider
User-agent: iaskspider/2.0
User-agent: ICC-Crawler
User-agent: ImagesiftBot
User-agent: imageSpider
User-agent: img2dataset
User-agent: ISSCyberRiskCrawler
User-agent: kagi-fetcher
User-agent: Kangaroo Bot
User-agent: Kimi-User
User-agent: KlaviyoAIBot
User-agent: KunatoCrawler
User-agent: laion-huggingface-processor
User-agent: LAIONDownloader
User-agent: LCC
User-agent: Lightpanda
User-agent: LinerBot
User-agent: Linguee Bot
User-agent: LinkupBot
User-agent: Manus-User
User-agent: meta-externalagent
User-agent: Meta-ExternalAgent
User-agent: meta-externalfetcher
User-agent: Meta-ExternalFetcher
User-agent: meta-webindexer
User-agent: MistralAI-User
User-agent: MistralAI-User/1.0
User-agent: Mozilla-Tabstack
User-agent: MyCentralAIScraperBot
User-agent: NagetBot
User-agent: netEstate Imprint Crawler
User-agent: newsai
User-agent: NotebookLM
User-agent: NovaAct
User-agent: OAI-SearchBot
User-agent: omgili
User-agent: omgilibot
User-agent: OpenAI
User-agent: opencode
User-agent: Operator
User-agent: PanguBot
User-agent: Panscient
User-agent: panscient.com
User-agent: Perplexity-User
User-agent: PerplexityBot
User-agent: PetalBot
User-agent: PhindBot
User-agent: Poggio-Citations
User-agent: Poseidon Research Crawler
User-agent: QualifiedBot
User-agent: Querit-SearchBot
User-agent: QueritBot
User-agent: QuillBot
User-agent: quillbot.com
User-agent: Reflectionbot
User-agent: SBIntuitionsBot
User-agent: Scrapy
User-agent: SemrushBot-OCOB
User-agent: SemrushBot-SWA
User-agent: Shap-User
User-agent: ShapBot
User-agent: Sidetrade indexer bot
User-agent: Spider
User-agent: TavilyBot
User-agent: Terra Cotta
User-agent: TerraCotta
User-agent: Thinkbot
User-agent: TikTokSpider
User-agent: Timpibot
User-agent: TongyiBot
User-agent: Trae
User-agent: TwinAgent
User-agent: UseAI
User-agent: VelenPublicWebCrawler
User-agent: WARDBot
User-agent: webzio-extended
User-agent: Webzio-Extended
User-agent: wpbot
User-agent: WRTNBot
User-agent: YaK
User-agent: YandexAdditional
User-agent: YandexAdditionalBot
User-agent: YiyanBot
User-agent: YouBot
User-agent: ZanistaBot
Disallow: /

O parte de una configuración predefinida

Revisión de logs

Revisa tu propio log de accesos

Pega cien líneas. Cada crawler que aparezca en ellas se contrasta con lo que publica su operador.

Para comprobar un registro necesitas JavaScript, porque el archivo se lee en tu navegador y de cada línea solo se envían la dirección y el user agent. Sin JavaScript, busca un token en el directorio de arriba y comprueba una sola dirección en la página de ese rastreador.

FAQ

Preguntas que responde este directorio

¿Qué crawlers de IA ignoran robots.txt?

De los 153 tokens que aparecen aquí, 9 ignoran robots.txt según la documentación: Bytespider, DeepSeekBot, facebookexternalhit, ISSCyberRiskCrawler, LAIONDownloader, Linguee Bot, Meta-ExternalFetcher, Perplexity-User, Thinkbot. Otros 90 no tienen ninguna política publicada al respecto, y eso no equivale a comprometerse a respetarlo. Con ellos, una regla en robots.txt es una petición; una regla en el edge es lo que la hace cumplir.

¿Cómo se verifica que un crawler de IA es auténtico?

Comprobando la IP de origen, nunca el user agent. Hay tres cosas que se pueden comprobar: un archivo publicado de rangos de IP, una convención de DNS inverso con confirmación directa o un ASN del operador. Solo 34 de los 153 tokens de esta lista publican alguna de ellas; para el resto no hay nada con lo que comparar.

¿Basta con la cadena de user agent para identificar un crawler?

No. El user agent es una cabecera que elige el cliente, así que cualquiera puede enviarla. Los scrapers copian las cadenas de crawlers conocidos precisamente porque los propietarios de sitios les dejan pasar. Toma el user agent como una afirmación y la IP como la prueba.

¿Bloquear un crawler de entrenamiento elimina mi contenido del modelo?

No. Bloquearlo impide rastreos futuros; no elimina nada de lo que ya se ha recopilado ni afecta a lo que un modelo ya ha aprendido. Tampoco cambia el posicionamiento del sitio en la búsqueda normal.

¿Qué diferencia hay entre un crawler de entrenamiento y un crawler de búsqueda con IA?

Un crawler de entrenamiento recopila páginas que acaban en el corpus de entrenamiento de un modelo. Un crawler de búsqueda con IA construye el índice del que cita un motor de respuestas. Bloquear el primero es la exclusión a la que se refieren la mayoría de los editores; bloquear el segundo te saca de las respuestas.

Datos abiertos

Cita este conjunto de datos

Las 153 filas, con licencia CC BY 4.0. Actualizado 24 ago 2026.

agents.json agents.csv

IPScanner (2026). Directorio de rastreadores de IA. https://ipscanner.io/bot. CC BY 4.0.