解决方案:框架构建以及如何爬取数据做了系统化的整理

　　解决方案:框架构建以及如何爬取数据做了系统化的整理

　　自动采集编写csgo相关的爬虫或一些游戏页面，我们直接抓取，然后转化为数据，利用一些开源的ocr模块，甚至是python等编程语言，可以对这些数据进行内容挖掘和分析，最后可以转化为可以作为外挂的数据，那么怎么构建这样的框架呢？本文，对于框架构建以及如何爬取数据做了系统化的整理。概要数据准备有什么数据？显然这些数据都有一个共同的特点，就是排行榜和数据内容字符串结合的非常接近。

　　为什么要爬取uzi排行榜数据内容？由于一些特殊原因，各大游戏直播平台和国服外服代理服务器可能遭受某些攻击而无法访问国内服务器内容，这可能导致部分“玩家”的数据无法被正常访问到，而爬取到这些数据对于寻找这些玩家，提取游戏服务器和游戏数据等是十分有必要的。数据如何爬取？写一个程序，可以实现一系列的功能，抓取某些游戏的相关数据，最后提取出数据字符串进行分析。

　　主要技术分析网页采集搜索框爬取相关联网页爬取列表页爬取多个数据页爬取获取的大部分数据存储解析数据数据处理爬取好数据后，怎么分析数据呢？其实爬取的数据分析，都能够基于html协议实现。要分析数据，我们首先要理解uzi玩家和其他玩家是怎么进行交互的，这些交互过程可以分为四步：用户登录，加载游戏内容，比赛，结束等。

　　用户登录用户登录的流程为用户注册---验证玩家---绑定手机或邮箱--填写账号。不同类型的玩家，登录方式不同，各个阶段所用操作指令不同。比如“988863694”登录，主要对应填写信息，比如昵称、年龄、学校等。登录完成后，游戏用户和外服用户登录的操作步骤是一样的。加载游戏内容爬取uzi比赛页面，有两种方式来获取portal中的数据，首先可以爬取游戏用户页面，使用谷歌浏览器，然后切换到美服，来爬取相应内容。

　　要抓取uzi比赛数据，获取用户账号登录后进入其账号页面，然后爬取相应内容。一般来说，国服的账号密码是不给用户选择的，只能用自己的。然后需要进行密码验证，在这一步我们不需要切换浏览器。完成以上两步，抓取uzi比赛页面就很简单了。点击“registernewusernetworks”->点击“browse”-->点击“start”，start后会跳转到首页，输入steam的账号和密码。

　　首页中有很多minecraft的玩家，可以爬取其用户列表，然后从其用户列表中抽取uzi的用户列表，大约在20000个。从里面抽取的用户列表中，我们可以看到uzi的玩家服务器信息。这里我们并不要求uzi账号是uzi账号，因为以上三步可以根据用户绑定邮箱/。