解决方案：不编程，*敏*感*词*教你如何从网络采集海量数据

　　无需编程，就可以教您如何从网络采集中获取海量数据

　　许多朋友会问: 成千上万的出租房屋，二手房，薪水甚至天气数据来自何处？实际上，这些数据可以在十分钟之内变成采集！

　　通常，我会回答，我使用特殊工具，并且无需编程即可快速掌握它. 以后肯定会问我，我可以在哪里下载该工具？

　　最近，我很忙，许多写作任务尚未完成. 教人如何钓鱼比教人如何钓鱼更好. 我决定将所有这些软件开源到GitHub.

　　免费使用，开源！从那时起，据估计许多爬行动物工程师将失去工作. . . 因为我的目标是使它对普通人可用！

　　本文文章介绍了采集器的一般原理，并且在文章结尾处将有一个程序地址.

　　◆◆◆

　　什么是爬虫

　　什么是爬虫

　　Internet是一个大型网络，可以将采集数据的小型程序生动地称为“爬虫”或“蜘蛛”.

　　采集器的原理非常简单. 当我们访问网页时，我们将单击翻页按钮和超链接，浏览器将帮助我们请求所有资源和图片. 因此，您可以设计一个程序来模拟浏览器上的人为操作，并使网站错误地认为爬虫是正常的访问者，并且会乖乖地将所需的数据发送回去.

　　爬虫有两种类型，一种搜索引擎爬虫，可捕获所有内容，例如百度（黑色）. 另一个是经过开发的，只能准确地捕获所需的内容: 例如，我只需要二手房信息，并且不需要在其旁边的任何广告和新闻.

　　爬行动物这个名字不太好，所以我将此软件命名为Hawk，指的是“ Eagle”，它可以准确，快速地捕获猎物. 基本上不需要编程，并且可以通过图形化拖放操作（类似于Photoshop）快速设计采集器. 它可以在20分钟内为Dianping写一个爬虫（简化版只需要3分钟），然后就可以运行它.

　　以下是使用Hawk捕获二手房的视频. 建议在wifi环境中观看:

　　◆◆◆

　　自动将网页导出到Excel

　　那么，如果页面很大，采集器如何知道我想要什么？

　　当然，人们可以很容易地看到上图中的红色框是二手房的信息，但是机器不知道.

　　网页是一棵结构化的树，重要信息所在的节点通常很繁华. 举一个不适当的例子，如果一个孩子的家庭组成树状家谱，谁是最好的？当然是:

　　每个人都会认为这个家庭太强大了！

　　当我们对整个树结构进行评分时，我们自然可以找到最强大的节点，这就是我们想要的表. 在找到最好的爸爸之后，尽管儿子是相似的: 高大英俊，有两只胳膊和两条腿，但这些是共同的特征，没有任何信息. 我们关心的是特性. 长子的锥子脸与其他人不同，那是重要的信息. 第三儿子是最富有的人-金钱也是我们所关心的. 因此，通过比较儿子的不同属性，我们可以知道哪些信息很重要.

　　返回网页采集示例，通过一组有趣的算法，提供网页的地址，软件将自动将其转换为Excel！ （不明白，您不明白吗？通常情况下，您无需理会. 详细信息！）

　　◆◆◆

　　裂纹翻页限制

　　获取一页的数据还不够，我们要获取所有页面的数据！很简单，让我们让程序依次请求第1页和第2页...数据已采集

　　就这么简单吗？ 网站如何让您的珍贵数据如此容易地被带走？因此它只能转到第50页或第100页. Chain Home就像这样:

　　这也不打扰我们. 每页有30个数据，而100页最多可以显示3000个数据. 北京16个区县有20,000个社区，但每个区的社区数量不到3,000个. 我们可以分别获取每个地区的社区列表. 每个社区最多可以出售300多个二手房，因此可以获得联嘉的所有二手房.

　　然后，我们启动抓取器，Hawk将为每个子线程（可以理解为机器人）分配一个任务: 为我抓取该社区中的所有二手房！然后，您将看到一个壮观的场景: 一堆小型机器人协同工作以从网站中移出数据，是否有超级牛迅雷？同时执行100个任务！ ！当我从厕所回来时，我会抓住它！ ！ ！

　　◆◆◆

　　清洁: 识别并转换内容

　　获得的数据如下:

　　但是您将看到，应该删除一些奇怪的字符. xx平方米应提取的所有数字. 而且售价有些是213万元，有些是373万元，这些都很难应付.

　　但是，没关系！ Hawk可以自动识别所有数据:

　　哈哈，那么您可以轻松地使用这些数据进行分析，纯净无污染！

　　◆◆◆

　　网站需要登录才能破解

　　当然，这里的意思不是破解用户名和密码，它不够强大. 一些网站数据需要登录才能访问. 这不会打扰我们.

　　当您打开Hawk的内置嗅探功能时，Hawk就像一个录音机，将记录您对目标网站的访问. 之后，它将重播它以实现自动登录.

　　您是否担心Hawk保存您的用户名和密码？如何不保存自动登录？但是Hawk是开源的，所有代码都已经过审查并且是安全的. 您的私人信息将仅位于您自己的硬盘中.

　　（我们像这样自动登录到滇平）

　　◆◆◆

　　我是否也可以捕获数据

　　理论上是. 但是道路高一英尺，魔法高，不同的网站有很大的不同，而且有许多方法可以对抗爬行动物. 这些错误对细节非常敏感，只要您犯了一个错误，接下来的步骤就不会继续进行.

　　我该怎么办？ Lord Desert保存并共享以前的操作，您只需加载这些文件即可快速获取数据.

　　如果您还有其他网站采集需求，则可以在您周围找到程序员和同学，并要求他们帮助捕获数据，或者让他们尝试Hawk来看看谁更有效.

　　如果您是文科专业的学生，​​建议您看一下东野圭吾和村上春树. 直接使用如此复杂的软件会让您发疯. 我应该打电话给谁来帮助捕获数据？呵呵呵...

　　◆◆◆

　　在哪里可以获得软件和教程？

　　Hawk: 使用C#/ WPF软件简介编写的高级Crawler＆ETL工具

　　HAWK是一种数据采集和清理工具，根据GPL协议开源，可以灵活有效地从网页，数据库，文件采集并通过可视化的拖放操作采集，快速生成，过滤，并转换等等. 最适合其功能的区域是爬网程序和数据清理.

　　鹰的意思是“鹰”，可以有效，准确地杀死猎物.

　　HAWK用C#编写，其前端接口是用WPF开发的，并且支持插件扩展. 通过图形化操作，可以快速建立解决方案.

　　GitHub地址:

　　Python等效的实现是etlpy:

　　作者专门开发的项目文件已发布在GitHub上:

　　使用时，单击文件并加载项目以加载它.

　　如果您不想编译，则可执行文件位于:

　　密码: 4iy0

　　编译路径为: Hawk.Core \ Hawk.Core.sln