恶意爬虫正在搞垮你的网站

直接限制源IP的请求速度，简单粗暴。这种方式有一定风险，例如在秒杀、抢购活动中，瞬间请求激增，如果源IP请求被限制，误报率很高。比起恶意Bot，过高的误报率反而会造成更严重的后果。限制源IP一般只作为辅助手段。

(2) Cookie支持

Cookie支持可识别一些比较简单的Bot程序。简单的Bot程序不支持Cookie，我们可以在服务端写入Cookie的方式，来识别是否是Bot。由于Bot支持Cookie的时间成本很低，所以这一方式的效果较为有限。

(3) Bot行为分析

由于恶意Bot是通过模仿正常用户行为进行请求，具备一定的特征，通过分析和识别这些特征，即可检测出恶意Bot。

但“行为”是一个抽象概念，判断难度较高，一般企业难以投入大量时间和精力研究，只有专门从事安全工作的公司，会做出行为分析方案。例如蔚可云的“BotGuard爬虫管理”，可通过情报库、访问控制、陷阱诱导、人机交互、机器学习等技术，对访客进行行为分析，识别恶意Bot。

(4) IP情报信息分析

正常流量在相近的一段时间内，行为是正常的，而异常IP则不同。例如被用来发动DDoS的一台肉鸡，并不会只用来发动一次攻击，而是会在一段时间内，一直处于攻击状态。通过大数据分析技术，对历史事件进行威胁分析，能提前发现恶意Bot，并进行防御。

（编辑：开发网_郴州站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!