网页访客qq抓取(著名调查机构AberdeenGroup恶意Bot占比上升6个百分点)

　　网页访客qq抓取(著名调查机构AberdeenGroup恶意Bot占比上升6个百分点)

　　互联网上的真实访客有多少流量？90%？70%？还是50%？

　　知名研究机构安本集团在 2019 年进行了一项调查，真实访问者的流量仅占全网流量的 62.8%，其余 37.2% 为 bot。传出流量。

　　

　　恶意机器人

　　在这些 bot 流量中，恶意 bot 占比高达 24.1%。早在 2015 年，这个数字只有 18.6%。短短 5 年时间，恶意 bot 的比例增加了 6%。这个比例是什么意思？

　　如果一家公司经营一个网站，可能意味着24%的用户是假的；如果策划线上活动，24%的奖品会被Bot刷掉；24%的服务器资源将被浪费...

　　

　　对于一个成长中的企业来说，这是相当致命的。恶意机器人可以对企业的正常业务产生多方面的广泛影响。

　　1.恶意注册

　　2020年底，微信发布公告封禁涉嫌恶意注册的300万个账号，因恶意注册而被封禁的账号已超过620万个。

　　

　　如此大量的注册会导致企业无法获取真实的用户数据，从而导致决策时出现偏差。短时间内的大量注册也会给服务器带来压力。如果恶意注册账号在市场上流通，也会给企业带来政策法规方面的风险。

　　2.非法登录

　　2018年，一名英国男子对17网站发起暴力攻击，窃取了16.5万多条用户信息，并打包在暗网上出售。

　　通过Bot的撞库和暴力破解，攻击者可以非法获取敏感账号信息，如姓名、手机号等，可以打包出售。它还可以出于非法目的窃取帐户资产或权限。

　　3.非法爬取

　　2019年，今日头条因抓取大量百度搜索结果被百度以不正当竞争为由起诉，索赔9000万元。

　　

　　非法爬虫不仅有大案，也有小案，因为爬虫爬取他人信息的*敏*感*词*时有发生。从企业的角度来看，被恶意爬虫光顾，核心业务数据被抓取，对手容易获取这些信息，会导致网站竞争力下降。

　　4.恶意刷票

　　大量恶意刷卡机器人将使普通用户无法购买到所需的门票。参赛者利用恶意机器人抢票，然后退票，使生意无法开展，造成损失。

　　

　　5.事件作弊

　　无论企业想要举办什么样的在线活动，恶意机器人都是一个巨大的威胁。一般情况下，企业都会设置一些简单的反刷策略，但要完全避免被羊毛党捅死是不可能的。毛线党零元采购、秒杀、抢红包、抢红包的现象屡见不鲜。

　　

　　防御恶意机器人

　　既然恶意爬虫程序会严重影响企业的正常业务，那么如何防范呢？一般可以采用六种方法。

　　1.限制源IP

　　直接限制源IP的请求速度，简单粗暴。这种方法有一定的风险。例如，在闪购和抢购活动期间，请求立即激增。如果源IP请求受到限制，误报率非常高。与恶意Bot相比，过高的误报率会造成更严重的后果。限制源IP一般只作为辅助手段。

　　2.Cookie 支持

　　Cookie 支持可以识别一些比较简单的 Bot 程序。Simple Bot 程序不支持 cookie。我们可以通过在服务器上写入cookie来识别它是否是Bot。由于 Bot 支持 cookie 的时间成本很低，所以这种方法的效果比较有限。

　　3.机器人行为分析

　　由于恶意 Bot 通过模仿正常用户行为发出请求，因此具有一定的特征。通过分析和识别这些特征，可以检测到恶意 Bot。

　　但是，“行为”是一个抽象的概念，很难判断。普通企业很难在研究上投入大量的时间和精力。只有专门从事安全工作的公司才会制定行为分析计划。例如，魏克云的“BotGuard爬虫管理”可以通过智能数据库、访问控制、陷阱感应、人机交互、机器学习等技术分析访问者的行为，识别恶意Bot。

　　4.IP情报信息分析

　　正常流量的行为在相似的时间段内是正常的，但异常的IP是不同的。例如，用于发起 DDoS 的肉鸡不仅会被用于发起一次攻击，而且会在一段时间内处于攻击状态。通过大数据分析技术，对历史事件进行威胁分析，可以提前发现恶意机器人并进行防御。

　　

　　《第47次互联网发展统计报告》显示，网站安全事件和信息系统漏洞正在逐年减少。比如网站2020年被篡改的数量比2019年同期减少了22.7%，但恶意bot逐年增多，已经成为黑社会势力企业不能忽视。防御恶意机器人还有很长的路要走。