智能体检测
智能体流量正在爆发式增长，而 robots.txt 只是一项建议。Agentscan 将 IP 来源与无头浏览器特征、JA4 指纹以及已验证允许列表相融合，把每个请求分类为真人、已验证的已知机器人、AI 智能体或恶意自动化，让你放行想要的爬虫并拦截不想要的。
POST /v1/agentscan/check
66.249.66.1Mozilla/5.0 (compatible; Googlebot/2.1)
五个阶段，按引擎实际执行的顺序。每个请求最终只落入一个类别，并带有置信度和一个可以执行的动作。
为何此刻
AI 爬虫和无头抓取器如今占据了相当大一部分流量。有些是你想要的，例如让你的内容出现在合适的答案引擎中；有些则不是，例如训练数据抓取器和撞库者。单一的封锁列表无法区分它们，而一道把 Googlebot 也挡住的高墙会损害 SEO。
工作原理
Agentscan 将共享 IP 引擎与请求级指纹及已验证允许列表相融合。
从引擎对数据中心、VPN、proxy 或干净住宅来源的判定出发，因为被伪装的来源会改变一切。
通过 User-Agent 以及 webdriver 等客户端信号，检测 HeadlessChrome、Playwright、Puppeteer、Selenium 和脚本化客户端。
一种能在 User-Agent 被伪造后依然有效的 TLS 客户端指纹，可将真实浏览器与冒充者区分开来。
评估请求头集合的“浏览器化”程度，因为真实浏览器会同时发送 Accept、Accept-Language 和 Accept-Encoding。
Googlebot、Bingbot 等通过正向确认的反向 DNS 来确认，而非依赖可被伪造的 User-Agent 字符串。
可识别 GPTBot、ClaudeBot、PerplexityBot、Google-Extended 等，让你按名称放行或拦截它们。
判定
每个请求都恰好归入一个类别，并附带置信度和推荐动作。
使用真实浏览器的真实用户，因此请求予以放行。
如 Googlebot 或 Bingbot 这类已验证的良性机器人，予以放行且绝不被误拦。
如 GPTBot 或 ClaudeBot 这类已识别的 AI 抓取器，由你标记并按策略决定如何处理。
没有良性身份的无头自动化，通常来自被伪装的来源，因此请求予以拦截。
API
在边缘端使用代码片段采集的信号进行调用。判定结果由 Redis 缓存以实现低延迟。
curl -X POST 'https://ipscanner.io/v1/agentscan/check' \
-H 'Authorization: Bearer YOUR_API_KEY' \
-H 'Content-Type: application/json' \
-d '{"ip":"198.51.100.7","user_agent":"Mozilla/5.0 HeadlessChrome/120","ja4":"t13d1516h2_8daaf6152771_...","headless_flags":{"webdriver":true},"headers":{"Accept":"*/*"}}'免费方案每月 30,000 次检测。请从你的服务器调用：密钥不该出现在浏览器里。
应用场景
放行你希望被收录的答案引擎，拦截训练数据抓取器，同时不误伤 Googlebot。
阻止无头自动化猛攻定价、库存和票务接口。
为来自被伪装 IP 的自动化所驱动的撞库和注册滥用增加阻力。
按名称逐一决定对 GPTBot、ClaudeBot、Perplexity 等爬虫是变现、放行还是拒绝。
常见问题