如何检测并拦截网页爬虫

爬取是工业化规模的复制行为，针对的是你的内容、价格和商品目录，通常是自动化且经过伪装的。好消息是： 大部分爬取都依赖可被检测的基础设施，因此 IP 检测能够拦下其中相当大的一部分。

现代爬虫的运作方式

正规的爬取行动会产生巨大的请求量，因此需要藏身于代理之后以规避限速：

• 数据中心代理用于廉价、快速的批量请求，参见 什么是数据中心代理。
• 住宅代理用于伪装成真实购物者，参见 什么是住宅代理。
• 轮换成千上万个 IP 以规避按 IP 的限制。

通过 IP 检测爬虫

1. 代理检测：通过代理检测 API标记数据中心代理和住宅代理。
2. 托管来源：大规模爬取偏好使用云服务器； 数据中心代理检测可通过 ASN 识别它们。
3. 信誉记录：屡次作案者会留下历史记录。

为隐蔽的爬虫叠加行为信号

最难对付的爬虫会使用住宅代理，并放慢速度以伪装成人类。可在 IP 分析之上叠加行为信号：

• 请求的速率与广度（按顺序访问每一个商品页面）。
• 缺失或不一致的请求头，以及未执行 JS。
• 任何人类都不会产生的会话模式。

住宅代理信号叠加机器化行为，就能得出可信的爬虫判定。

拦截但不伤害 SEO

黄金法则：不要拦截你想要的爬虫。

实施方式

在容易被爬取的端点（搜索、列表、价格、API）上对 IP 进行服务端检测并打分，再套用上表规则。 由于 IP 会轮换，应结合按账号或按令牌的限制一并使用。

结论

爬虫躲藏在轮换的数据中心代理和住宅代理背后，因此应先检测代理基础设施，再为隐蔽的住宅代理爬虫叠加 行为信号。将真正的搜索引擎爬虫加入白名单，其余流量则根据打分判定进行限速或拦截。