Agentischer Traffic explodiert und robots.txt ist nur eine Empfehlung. Agentscan klassifiziert jede Anfrage als Mensch, verifizierten bekannten Bot, KI-Agenten oder schädliche Automatisierung, indem es den IP-Ursprung mit Headless-Merkmalen, JA4-Fingerabdrücken und einer verifizierten Allowlist verbindet, sodass Sie die gewünschten Crawler zulassen und die unerwünschten blockieren können.
Anfrage
{
"ip": "198.51.100.7",
"user_agent": "Mozilla/5.0 HeadlessChrome/120",
"ja4": "t13d1516h2_8daaf6152771_...",
"headless_flags": { "webdriver": true },
"headers": { "Accept": "*/*" }
}Antwort
{
"class": "malicious_automation",
"confidence": 0.9,
"action": "block",
"signals": { "network_origin": "datacenter", "headless": true }
}KI-Crawler und Headless-Scraper machen heute einen riesigen Anteil des Traffics aus. Manche wollen Sie, etwa Ihre Inhalte in den richtigen Antwort-Engines, und manche nicht, etwa Trainings-Scraper und Credential-Stuffer. Eine einzelne Blockliste kann sie nicht auseinanderhalten, und eine Mauer schadet dem SEO, wenn sie Googlebot erwischt.
Agentscan verbindet die gemeinsame IP-Engine mit Fingerabdrücken auf Anfrageebene und einer verifizierten Allowlist.
Beginnt mit dem Engine-Ergebnis Rechenzentrum, VPN, proxy oder sauberes Wohnnetz, denn ein verschleierter Ursprung ändert alles.
Erkennt HeadlessChrome, Playwright, Puppeteer, Selenium und skriptgesteuerte Clients anhand des User-Agent sowie clientseitiger Signale wie webdriver.
Ein TLS-Client-Fingerabdruck, der einen gefälschten User-Agent übersteht und echte Browser von Hochstaplern trennt.
Bewertet, wie browserähnlich der Header-Satz ist, da echte Browser Accept, Accept-Language und Accept-Encoding gemeinsam senden.
Googlebot, Bingbot und Co. werden per vorwärtsbestätigtem Reverse DNS bestätigt, nicht durch eine fälschbare User-Agent-Zeichenkette.
Kennt GPTBot, ClaudeBot, PerplexityBot, Google-Extended und weitere, sodass Sie sie namentlich zulassen oder blockieren können.
Jede Anfrage landet in genau einer Klasse mit einer Konfidenz und einer empfohlenen Aktion.
Eine echte Person in einem echten Browser, die Anfrage wird zugelassen.
Ein verifizierter guter Bot wie Googlebot oder Bingbot, der zugelassen und nie versehentlich blockiert wird.
Ein identifizierter KI-Abrufer wie GPTBot oder ClaudeBot, den Sie kennzeichnen und je nach Richtlinie entscheiden.
Headless-Automatisierung ohne gute Identität, oft von einem verschleierten Ursprung, daher wird die Anfrage blockiert.
Rufen Sie sie vom Edge mit den vom Snippet erfassten Signalen auf. Ergebnisse werden in Redis gecacht, für geringe Latenz.
Anfrage
{
"ip": "198.51.100.7",
"user_agent": "Mozilla/5.0 HeadlessChrome/120",
"ja4": "t13d1516h2_8daaf6152771_...",
"headless_flags": { "webdriver": true },
"headers": { "Accept": "*/*" }
}Antwort
{
"class": "malicious_automation",
"confidence": 0.9,
"action": "block",
"signals": { "network_origin": "datacenter", "headless": true }
}Lassen Sie die Antwort-Engines zu, die Sie indexiert haben möchten, und blockieren Sie Trainings-Scraper, ohne Googlebot zu erlegen.
Stoppen Sie Headless-Automatisierung, die Preis-, Bestands- und Ticket-Endpunkte bombardiert.
Fügen Sie Reibung gegen Credential-Stuffing und Registrierungsmissbrauch hinzu, der von Automatisierung aus verschleierten IPs ausgeht.
Entscheiden Sie pro Crawler, ob Sie GPTBot, ClaudeBot, Perplexity und andere namentlich monetarisieren, zulassen oder ablehnen.