集搜客网页抓取软件(import.io：大数据采集软件集搜客GooSeeker对比说明 )

　　集搜客网页抓取软件(import.io：大数据采集软件集搜客GooSeeker对比说明

)

　　最近国外大数据软件采集import.io火了。在获得90万美元天使轮融资后，近日又获得了1300万美元的一轮融资，引起了众多投资者的关注。，我也是出于好奇使用并体验了import.io的神奇功能。我是中国大数据采集软件合集GooSeeker的老用户，所以喜欢把两者放在一起比较。下面我印象最深。的几个功能对比，对应import.io的四大功能：Magic、Extractor、Crawler、Connector，分为两部分。

　　对data采集比较感兴趣的朋友，希望能起到吸点新意的作用，一起来分析data采集的技术亮点。

　　1. 魔法 (Import.io) VS 天眼和千面 (Jizouke)

　　Magic：就像magic这个词的本义“魔法”一样，import.io赋予了Magic一个神奇的功能。只要用户输入 URL，Magic 工具就可以神奇的将网页中的数据整齐、标准地抓取。

　　如图1所示，输入58同城租房信息URL后，Magic会自动采集网页数据，操作简单。但是可以看到可能会漏掉一些栏目，每页都需要点击“下一页”进行采集，无法自动翻页。当然，还有很多页面几乎没有采集可以下载，比如新浪微博。

　　总之，我觉得很神奇：

　　图 1：Magic Autocrawl 示例

　　上图是import.io的Magic功能截图。它是一个纯网页界面，使用起来非常方便，无需安装额外的软件。综上所述：

　　GooSeeker的天眼和千面系列：集搜客的天眼和千面分别针对电商和微博发布的数据采集方便的GUI界面，只要输入网址，目标数据就可以标准化、整齐采集下来。

　　如图2：博主的采集工具展示（微博的各种数据都有一个采集管理界面），进入博主首页的链接，可以调度爬虫，回复博主。首页下的信息为采集，如微博内容、转发、评论等数据。

　　图2：GooSeeker微博博主采集界面示例

　　界面也很简单。与 Import.io 相比，最大的不同是用户自己运行爬虫组。已结构化和转换的 XML 格式的结果文件。

　　从上面的分析可以看出，Magic和GooSeeker的天眼和千面操作非常简单，基本上都是纯傻瓜式操作，非常适合只想专注于业务问题而做不想被技术问题分心。用户也是纯小白学习数据采集和使用数据结果的良好起点。但是，Magic 在采集 的结果可视化方面比天眼和千眼具有更广泛的适用性。缺点是采集数据量大的场景不可控，而天眼和千面专注几个主流网站，优点主要体现在能够完成大量数据采集，例如，

　　2. Extractor (import.io) VS Organizer (Jizouke)

　　提取器：提取器是翻译中的提取器。如果从实体的角度来理解，它就是一个小程序（可能是一组脚本），从 URL 中提取出想要的信息；如果是从 采集 目标来理解它是从 采集 的角度来理解特定网页的结构规则。与Magic不同的是，import.io的Extractor（以及后面的另外两个功能）是一个可以独立运行的软件，具有非常直观的可视化界面，可以直观的展示提取出来的信息。

　　如图 3：import.io 的 Extractor 非常类似于修改后的浏览器。在工具栏中输入网址，网页显示出来后，在浏览器中选择要抓取的数据，然后单页就可以将结构的整列规范依次往下采集。

　　图 3：Extractor 提取数据的示例

　　GooSeeker Organizer：Jisouke 声称是“建立一个盒子，把你想要的内容放进去”。这个盒子就是所谓的组织者。原理是将需要提取的信息一个一个拖入框内，映射到组织者。Box，采集程序可以自动生成提取器（脚本程序），提取器自动存储在云服务器中，可以分发给全球的网络爬虫进行提取。

　　如图4所示，import.io顶部的一个工具栏在GooSeeker中展开成一个工作台，在工作台上创建一个盒子，然后通过映射操作将网页上的内容扔到盒子里。把你想要的东西扔进盒子里。原理看似简单，但面对大盒子界面和众多HTML节点，对于新手来说有点压力。当然，界面复杂，以换取能够处理更复杂的情况，因为有更多的控件可用。

　　图 4：分类 bin 提取数据的示例

　　综上所述，Extractor和排序框都具有提取信息字段的功能。Extractor操作起来比较简单直观，适用于一些简单结构化的URL，但是对于一些稍微复杂的URL，Extractor会出现无法提取的问题。这时候就突显了吉搜克排序框的优势，特别复杂的情况下，可以使用自定义的xpath来定位数据。

　　如有疑问，您可以或