机器人与 AI 爬虫管控

AI 代理与机器人检测, 挡住抓取器,放行 Googlebot。

Agentscan 把每位访客分为真人、已验证爬虫、AI 智能体和机器人脚本,再对每一类执行你的规则。可作为 WordPress 插件、Cloudflare Worker 安装,或装在你的代理上。

已验证爬虫始终放行无需信用卡

传入请求
真人12
已知机器人4
AI 代理3
恶意自动化5

速度

访客眨眼之前,判定已经完成。

每次检查在 50 到 100 毫秒内返回,您的页面和注册流程从不需要等待。

IPScanner 检查中位数,在您的边缘节点
约 85 毫秒
一次眨眼人眼
300 毫秒
一次快速页面加载Google 的“良好”标准
2.5 秒

工作原理

安装、观察、再决定

  • 01

    装在流量进入的地方

    WordPress 插件、Cloudflare Worker,或 Traefik、Caddy、nginx 插件。无需改动你的应用。

  • 02

    看清谁在访问

    控制台把流量分为真人、已验证爬虫、AI 智能体和脚本,并显示它们来自哪些网络。

  • 03

    按类别设规则

    放行、标记或拦截。拦截使用额度,免费额度足以让你开始。

应用场景

Agentscan 在哪些场景中物有所值

  • 内容与 SEO 保护

    放行你希望被收录的答案引擎,拦截训练数据抓取器,同时不误伤 Googlebot。

  • 反抓取与反抢购

    阻止无头自动化猛攻定价、库存和票务接口。

  • 账户安全

    为来自被伪装 IP 的自动化所驱动的撞库和注册滥用增加阻力。

  • AI 流量策略

    逐个爬虫决定 GPTBot、ClaudeBot、Perplexity 等能否读取你的页面。

每个请求,分门别类

分清哪些访客是真人

真人、已验证爬虫、AI 代理和脚本,依据网络、浏览器以及各运营方公布的信息加以区分。

Safari 18 · iPhone放行
Googlebot放行
GPTBot标记
HeadlessChrome/141拦截
ClaudeBot标记
Chrome 141 · Windows放行
python-requests/2.32拦截
Bingbot放行
Safari 18 · iPhone放行
Googlebot放行
GPTBot标记
HeadlessChrome/141拦截
ClaudeBot标记
Chrome 141 · Windows放行
python-requests/2.32拦截
Bingbot放行

判定

四个类别,各对应一个动作

每个请求都恰好归入一个类别,并附带置信度和推荐动作。

  • 真人

    使用真实浏览器的真实用户,因此请求予以放行。

  • 已知机器人

    如 Googlebot 或 Bingbot 这类已验证的良性机器人,予以放行且绝不被误拦。

  • AI 智能体

    如 GPTBot 或 ClaudeBot 这类已识别的 AI 抓取器,由你标记并按策略决定如何处理。

  • 恶意自动化

    没有良性身份的无头自动化,通常来自被伪装的来源,因此请求予以拦截。

技术原理

从网络层一直到请求层的身份识别

Agentscan 将共享 IP 引擎与请求级指纹及已验证允许列表相融合。

  • IP 来源类别

    从引擎对数据中心、VPN、proxy 或干净住宅来源的判定出发,因为被伪装的来源会改变一切。

  • 无头与自动化特征

    通过 User-Agent 以及 webdriver 等客户端信号,检测 HeadlessChrome、Playwright、Puppeteer、Selenium 和脚本化客户端。

  • JA4 TLS 指纹

    一种能在 User-Agent 被伪造后依然有效的 TLS 客户端指纹,可将真实浏览器与冒充者区分开来。

  • 请求头一致性

    评估请求头集合的“浏览器化”程度,因为真实浏览器会同时发送 Accept、Accept-Language 和 Accept-Encoding。

  • 已验证允许列表

    Googlebot、Bingbot 等通过正向确认的反向 DNS 来确认,而非依赖可被伪造的 User-Agent 字符串。

  • AI 爬虫识别

    可识别 GPTBot、ClaudeBot、PerplexityBot、Google-Extended 等,让你按名称放行或拦截它们。

给你的开发团队

给开发团队的一次调用

在边缘端使用代码片段采集的信号进行调用。判定结果由 Redis 缓存以实现低延迟。

POST/v1/agentscan/check
curl -X POST 'https://ipscanner.io/v1/agentscan/check' \
  -H 'Authorization: Bearer YOUR_API_KEY' \
  -H 'Content-Type: application/json' \
  -d '{"ip":"198.51.100.7","user_agent":"Mozilla/5.0 HeadlessChrome/120","ja4":"t13d1516h2_8daaf6152771_...","headless_flags":{"webdriver":true},"headers":{"Accept":"*/*"}}'
响应

25,000 免费额度可完成 2,500 次检测。请从你的服务器调用:密钥不该出现在浏览器里。

提供 Node.js、Python、Go、PHP、Ruby 和 Rust SDK

常见问题

你的疑问,这里有答案

Agentscan 采用正向确认的反向 DNS。它查询该 IP 的 PTR 记录,检查其是否以 googlebot.com 等官方域名结尾,然后将该主机名再解析回去并确认与该 IP 匹配。来自错误网络的伪造 Googlebot User-Agent 无法通过这一核验,因而不会被当作已知机器人。

看清哪些访客是真人

安装后按类别查看你的流量,再选择拦截什么。

无需信用卡即可开始

    Agentscan:AI 代理与机器人检测 API | IPScanner