El tráfico agéntico está explotando y robots.txt es una sugerencia. Agentscan clasifica cada solicitud como humano, bot conocido verificado, agente de IA o automatización maliciosa fusionando el origen de IP con señales de headless, huellas JA4 y una lista de permitidos verificada, así puedes permitir los rastreadores que quieras y bloquear los que no.
solicitud
{
"ip": "198.51.100.7",
"user_agent": "Mozilla/5.0 HeadlessChrome/120",
"ja4": "t13d1516h2_8daaf6152771_...",
"headless_flags": { "webdriver": true },
"headers": { "Accept": "*/*" }
}respuesta
{
"class": "malicious_automation",
"confidence": 0.9,
"action": "block",
"signals": { "network_origin": "datacenter", "headless": true }
}Los rastreadores de IA y los scrapers headless ahora suponen una enorme porción del tráfico. Algunos los quieres, como tu contenido en los motores de respuesta adecuados, y otros no, como los scrapers de entrenamiento y los rellenadores de credenciales. Una sola lista de bloqueo no puede distinguirlos, y un muro perjudica el SEO cuando atrapa a Googlebot.
Agentscan fusiona el motor de IP compartido con huellas a nivel de solicitud y una lista de permitidos verificada.
Parte del veredicto del motor de centro de datos, VPN, proxy o residencial limpio, porque un origen enmascarado lo cambia todo.
Detecta HeadlessChrome, Playwright, Puppeteer, Selenium y clientes con script a partir del User-Agent más señales del lado del cliente como webdriver.
Una huella de cliente TLS que sobrevive a un User-Agent falsificado, separando navegadores reales de impostores.
Puntúa cuán parecido a un navegador es el conjunto de encabezados, ya que los navegadores reales envían Accept, Accept-Language y Accept-Encoding juntos.
Googlebot, Bingbot y compañía se confirman mediante DNS inverso confirmado por reenvío en lugar de por una cadena de User-Agent falsificable.
Conoce GPTBot, ClaudeBot, PerplexityBot, Google-Extended y más, así puedes permitirlos o bloquearlos por nombre.
Cada solicitud cae en exactamente una clase con una confianza y una acción recomendada.
Una persona real en un navegador real, así que la solicitud se permite.
Un bot bueno verificado como Googlebot o Bingbot que se permite y nunca se bloquea accidentalmente.
Un recuperador de IA identificado como GPTBot o ClaudeBot que marcas y decides según tu política.
Automatización headless sin una buena identidad, a menudo desde un origen enmascarado, así que la solicitud se bloquea.
Llámala desde el edge con señales recopiladas por el fragmento. Los veredictos se almacenan en caché en Redis para baja latencia.
solicitud
{
"ip": "198.51.100.7",
"user_agent": "Mozilla/5.0 HeadlessChrome/120",
"ja4": "t13d1516h2_8daaf6152771_...",
"headless_flags": { "webdriver": true },
"headers": { "Accept": "*/*" }
}respuesta
{
"class": "malicious_automation",
"confidence": 0.9,
"action": "block",
"signals": { "network_origin": "datacenter", "headless": true }
}Permite los motores de respuesta que quieres indexar y bloquea los scrapers de entrenamiento, sin aniquilar a Googlebot.
Detén la automatización headless que martillea los endpoints de precios, inventario y entradas.
Añade fricción al relleno de credenciales y al abuso de registro impulsado por automatización desde IP enmascaradas.
Decide por rastreador si monetizar, permitir o denegar GPTBot, ClaudeBot, Perplexity y otros por nombre.