集搜客网页抓取软件(集搜客打数机界面3.操作流程及流程对比)

　　集搜客网页抓取软件(集搜客打数机界面3.操作流程及流程对比)

　　最近想用爬虫软件查看网页采集的一些数据。根据百度的推荐和相关的关键词查询，我找到了两个软件：“Jisouke”和“优采云”，这两个软件都有一个可视化的界面。对于编程思维较弱的用户来说，这两款软件简单易用，易于理解。今天就带大家了解和对比一下这两款通用的网络爬虫软件。

　　1.软件安装

　　优采云：优采云 安装跟随其他软件，从官网下载，直接点击setup.exe进行安装。

　　Jisuke：Jisuke网站上下载的软件也是一个自解压的exe程序。双击开始安装。你看到的是火狐浏览器的安装过程。最初的 Jisuke 软件是作为 Firefox 插件发布的。

　　2.软件界面布局

　　优采云：优采云的界面布局可以归类为引导界面。用户可以进入软件界面查看软件使用提示信息，如图1所示，包括引导模式和高级模式。学习资源，采集规则，资料下载等，对于初次使用的用户，起到了很好的引导作用。

　　

　　图1：优采云操作界面展示

　　极速客：极速软件分为两个操作界面，MS魔说（图片2)和DS计数机（图片3)），魔硕负责制定规则（网页上有标注），计数机负责采集数据（网络爬虫），一招一拼，听起来更符合它的特点。吉首客启动后，界面没有显示帮助资源的使用，而是位于“帮助”菜单。

　　

　　图2：集客求多站界面

　　

　　图3：采集计数机界面

　　3.操作流程

　　优采云：优采云的操作过程主要分为4个步骤（如图4所示），即：设置基本信息、设计工作流程、设置采集选项、完成。

　　

　　图4：优采云操作流程

　　1) 设置基本信息：创建任务名称和分配任务组。其实就是给你想要做的规则命名。

　　2) 设计工作流程：这一步是优采云制定规则的关键部分，包括输入URL、构建循环，所有的翻页、循环等操作都在这里进行。其实优采云这个工作流已经为用户搭建了一个既定的框架，用户只需要往里面添加元素即可。如图4，构造了一个大的loop frame来翻页，里面收录loops，还有做list采集和分层抓包

　　

　　3) 设置采集选项：这个很容易理解。就是选择需要采集的数据，如图4右边的方框所示，整个数据是一次性抓取的，需要进一步确定需要哪些字段，整理出来。

　　4)完成：规则完成，数据为采集。

　　吉首客：吉首客的运作没有过程的概念。看来采集规则的定义并不能按照既定的操作顺序进行，但是有一个关键是“建一个盒子，挑你想要的内容”。所以我们称之为 4 个“块”操作（如图 6 所示），包括命名主题、创建存储箱、规划爬虫路线和定义连续动作。

　　

　　图6：采集客户的4个功能

　　1) 命名主题：为规则命名。

　　2) 创建排序框：吉首客提出了“框”的概念，即创建一个框，需要什么数据，从网页中挑出相应的信息，扔到这个框里。这个丢弃的过程，吉首有一个特殊的词“映射”，就是将网页上的内容分配到排序框中的一个字段。

　　3) 爬虫路线：为采集 任务设置翻页和级别。一般来说，爬虫路由告诉爬虫按照哪条路由爬取数据。

　　4) 连续点击：这是采集的高级功能。它通过模拟用户点击等行为实现自动采集，主要针对那些需要连续点击但URL不改变的网页。

　　综上所述，优采云的工作流特征非常明显。用户决定软件如何操作、何时操作、在何处应用操作、采集 内容的位置等。吉首客希望用户专注于提取哪些数据。如果用户想扩展到提取之外，定义爬虫路径。如果他们想做一些动作，定义连续动作。用户并不关心整个过程的细节。

　　4.数据存储方式

　　优采云：优采云分为单机操作和云端采集，数据导出支持EXCEL、SQL、TXT等常用格式。

　　Jisouke：Jisouke没有云采集，因为爬虫是在用户自己的电脑上运行的。用户想把爬虫放到云端是用户自己的事情。运行下来的数据以 XML 格式存储。可以看出这是一个中间结果。Jisukeke 官网提供了一个将XML 转换为EXCEL 的工具。还提供会员中心基于云存储的数据导入和清理功能，存储后可导出。转成EXCEL格式。

　　5.充电模型

　　优采云：简单的说就是软件销售模式（不排除免费版）。另外，用户在规则下需要积分，运行数据也需要积分，积分可以用金钱购买或参与社区活动换取积分。

　　吉首客：简单来说，吉首客是一种服务收费模式。软件功能全部免费。如果您需要一些爬虫管理和数据管理服务，您将根据服务的类型、数量和时间收费。同样，下载规则需要积分。如果您使用云存储，将根据存储量和存储时间向您收费。积分也可以用金钱购买或参加社区活动来赚取积分。