Agentverkeer explodeert en robots.txt is een suggestie. Agentscan classificeert elk verzoek als mens, geverifieerde bekende bot, AI-agent of kwaadaardige automatisering door IP-oorsprong te combineren met headless-signalen, JA4-fingerprints en een geverifieerde allowlist, zodat je de crawlers kunt toestaan die je wilt en de crawlers kunt blokkeren die je niet wilt.
verzoek
{
"ip": "198.51.100.7",
"user_agent": "Mozilla/5.0 HeadlessChrome/120",
"ja4": "t13d1516h2_8daaf6152771_...",
"headless_flags": { "webdriver": true },
"headers": { "Accept": "*/*" }
}antwoord
{
"class": "malicious_automation",
"confidence": 0.9,
"action": "block",
"signals": { "network_origin": "datacenter", "headless": true }
}AI-crawlers en headless-scrapers vormen nu een enorm deel van het verkeer. Sommige wil je, zoals je content in de juiste answer engines, en sommige niet, zoals trainingsscrapers en credential-stuffers. Eén blocklist kan ze niet uit elkaar houden, en een muur schaadt SEO wanneer hij Googlebot opvangt.
Agentscan combineert de gedeelde IP-engine met fingerprints op verzoekniveau en een geverifieerde allowlist.
Begint bij het engine-oordeel van datacenter, VPN, proxy of schoon residentieel, omdat gemaskeerde oorsprong alles verandert.
Detecteert HeadlessChrome, Playwright, Puppeteer, Selenium en gescripte clients op basis van de User-Agent plus client-side signalen zoals webdriver.
Een TLS-client-fingerprint die een vervalste User-Agent overleeft en echte browsers van bedriegers scheidt.
Scoort hoe browser-achtig de headerset is, aangezien echte browsers Accept, Accept-Language en Accept-Encoding samen versturen.
Googlebot, Bingbot en consorten worden bevestigd door forward-confirmed reverse DNS in plaats van door een vervalsbare User-Agent-string.
Kent GPTBot, ClaudeBot, PerplexityBot, Google-Extended en meer, zodat je ze per naam kunt toestaan of blokkeren.
Elk verzoek belandt in precies één klasse met een betrouwbaarheid en een aanbevolen actie.
Een echte persoon in een echte browser, dus het verzoek wordt toegestaan.
Een geverifieerde goede bot zoals Googlebot of Bingbot die wordt toegestaan en nooit per ongeluk wordt geblokkeerd.
Een geïdentificeerde AI-fetcher zoals GPTBot of ClaudeBot die je markeert en per beleid over beslist.
Headless-automatisering zonder goede identiteit, vaak vanuit een gemaskeerde oorsprong, dus het verzoek wordt geblokkeerd.
Roep het aan vanaf de edge met signalen die door het fragment zijn verzameld. Oordelen worden Redis-gecachet voor lage latentie.
verzoek
{
"ip": "198.51.100.7",
"user_agent": "Mozilla/5.0 HeadlessChrome/120",
"ja4": "t13d1516h2_8daaf6152771_...",
"headless_flags": { "webdriver": true },
"headers": { "Accept": "*/*" }
}antwoord
{
"class": "malicious_automation",
"confidence": 0.9,
"action": "block",
"signals": { "network_origin": "datacenter", "headless": true }
}Sta de answer engines toe die je geïndexeerd wilt hebben en blokkeer trainingsscrapers, zonder Googlebot kapot te maken.
Stop headless-automatisering die prijs-, voorraad- en ticket-endpoints bestookt.
Voeg wrijving toe aan credential-stuffing en aanmeldmisbruik gedreven door automatisering vanaf gemaskeerde IP's.
Beslis per crawler of je GPTBot, ClaudeBot, Perplexity en anderen per naam wilt monetariseren, toestaan of weigeren.