集搜客网页抓取软件(import.io：大数据采集软件集搜客GooSeeker对比说明)

　　集搜客网页抓取软件(import.io：大数据采集软件集搜客GooSeeker对比说明)

　　可视化数据采集器import.io与吉索客评测对比 最近国外一款大数据采集软件import.io比较火。在获得90万美元天使轮融资后，近日又获得了1300万美元的A轮融资，引起了众多投资者的关注。笔者也很好奇使用和体验import.io的神奇功能。我是中国大数据采集软件合集GooSeeker的老用户。，所以我喜欢将两者放在一起比较。下面，我将比较和解释最令人印象深刻的功能，对应于import.io的四大特性：Magic、Extractor、Crawler、Connector，并分别进行评估。对数据比较感兴趣的采集，希望能起到吸点新意的作用，一起来分析一下data采集的技术亮点。魔法——就像魔法“魔法”这个词的本义一样，import.io 赋予了魔法一个神奇的功能。只要用户输入 URL，Magic 工具就可以神奇的将网页中的数据整齐、标准地抓取。如图1所示，输入58同城租房信息URL后，Magic会自动采集网页数据，操作简单。但是可以看到可能会漏掉一些栏目，每页都需要点击“下一页”进行采集，无法自动翻页。Magic 工具可以神奇地整齐、标准地捕捉网页中的数据。如图1所示，输入58同城租房信息URL后，Magic会自动采集网页数据，操作简单。但是可以看到可能会漏掉一些栏目，每页都需要点击“下一页”进行采集，无法自动翻页。Magic 工具可以神奇地整齐、标准地捕捉网页中的数据。如图1所示，输入58同城租房信息URL后，Magic会自动采集网页数据，操作简单。但是可以看到可能会漏掉一些栏目，每页都需要点击“下一页”进行采集，无法自动翻页。

　　当然，还有很多页面几乎没有采集可以下载，比如新浪微博。反正我觉得很神奇：有的网址输入后等待时间短，有的网址输入后等待时间长。真的有人在后台执行 采集 规则吗？图1：Magic自动抓包示例总结：优点：适应任意URL，操作非常简单，自动采集、采集结果可视化。缺点：不能选择具体数据，不能自动翻页采集（没用吗？）。GooSeeker的天眼和千面系列——吉搜客的天眼和千面分别是针对电商和微博发布的数据采集方便的GUI界面，只要输入网址，目标数据可以规范整齐采集 @采集下来。如图2：显示博主的采集工具（微博各种数据都有采集管理界面），进入博主首页的链接，可以调度爬虫，博主可以首页下的信息是采集，比如微博内容、转发、评论等数据。图2：GooSeeker微博博主采集的示例界面也很简单。与 Import.io 相比，最大的不同是用户自己运行爬虫组。如果采集的量很大，多运行一些，可以直接得到原创数据，是本地硬盘上经过结构化和转换后的XML格式的结果文件。如图2：显示博主的采集工具（微博各种数据都有采集管理界面），进入博主首页的链接，可以调度爬虫，博主可以首页下的信息是采集，比如微博内容、转发、评论等数据。图2：GooSeeker微博博主采集的示例界面也很简单。与 Import.io 相比，最大的不同是用户自己运行爬虫组。如果采集的量很大，多运行一些，可以直接得到原创数据，是本地硬盘上经过结构化和转换后的XML格式的结果文件。如图2：显示博主的采集工具（微博各种数据都有采集管理界面），进入博主首页的链接，可以调度爬虫，博主可以首页下的信息是采集，比如微博内容、转发、评论等数据。图2：GooSeeker微博博主采集的示例界面也很简单。与 Import.io 相比，最大的不同是用户自己运行爬虫组。如果采集的量很大，多运行一些，可以直接得到原创数据，是本地硬盘上经过结构化和转换后的XML格式的结果文件。微博各种数据的管理接口），进入博主首页的链接，可以调度爬虫，博主可以首页下的信息为采集，如微博内容、转发、评论等数据. 图2：GooSeeker微博博主采集的示例界面也很简单。与 Import.io 相比，最大的不同是用户自己运行爬虫组。如果采集的量很大，多运行一些，可以直接得到原创数据，是本地硬盘上经过结构化和转换后的XML格式的结果文件。微博各种数据的管理接口），进入博主首页的链接，可以调度爬虫，博主可以首页下的信息为采集，如微博内容、转发、评论等数据. 图2：GooSeeker微博博主采集的示例界面也很简单。与 Import.io 相比，最大的不同是用户自己运行爬虫组。如果采集的量很大，多运行一些，可以直接得到原创数据，是本地硬盘上经过结构化和转换后的XML格式的结果文件。转发、评论等数据。图2：GooSeeker微博博主采集的示例界面也很简单。与 Import.io 相比，最大的不同是用户自己运行爬虫组。如果采集的量很大，多运行一些，可以直接得到原创数据，是本地硬盘上经过结构化和转换后的XML格式的结果文件。转发、评论等数据。图2：GooSeeker微博博主采集的示例界面也很简单。与 Import.io 相比，最大的不同是用户自己运行爬虫组。如果采集的量很大，多运行一些，可以直接得到原创数据，是本地硬盘上经过结构化和转换后的XML格式的结果文件。

　　优点：操作非常简单，可以自动翻页采集，微博上能看到的重要字段都采集了。缺点：采集数据字段有限，只有采集GooSeeker官方限定网站。从上面的分析可以看出，Magic GooSeeker的天眼和千面操作非常简单，基本上都是纯傻瓜式操作，非常适合只想关注业务问题而不关注业务问题的用户想被技术问题分心。，也是纯白学习数据采集和使用数据结果的一个很好的起点。但是，Magic 在采集 的结果可视化方面比天眼和千眼具有更广泛的适用性。缺点是 采集 数据量大的场景不可控，而天眼和千面则专注于几个主流网站，优势主要体现在能够完成大量数据采集，比如专业市场研究或消费者研究团队需要数百万或数千万的数据，只要你运行足够多的网络爬虫，不会因为采集的数量而阻碍你的数据研究。Extractor (import.io) VS 排序框(collector) Extractor—— Extractor 翻译的时候是个提取器。如果从一个实体的角度来理解，它就是一个从网站中逐一提取想要的信息的小程序（可能是一组脚本）；如果按照采集targets 来理解，它是特定网页结构的采集规则。

　　如图：import.io 的Extractor 很像修改后的浏览器。在工具栏中输入 URL。网页显示出来后，在浏览器中选择要抓取的数据，然后单页就可以用相同的结构进行结构化了。整列数据可以采集 向下排序。图3：Extractor提取数据示例优点：灵活采集，操作简单，可视化程度高。缺点：采集数据的结构化程度很高，对于结构化程度较差的数据，采集不能很好的表现。GooSeeker Organizer - Jisouke 声称是“构建一个盒子并将你想要的内容放入其中”。这个盒子就是所谓的组织者。原理是将需要提取的信息一个一个拖入框内并映射到该框整理好后，吉索克程序可以自动生成提取器（脚本程序），提取器自动存储在云服务器，可以分发给世界各地的网络爬虫进行提取。如图4所示，import.io顶部的一个工具栏在GooSeeker中展开成一个工作台，在工作台上创建一个盒子，然后通过映射操作将网页上的内容扔到盒子里。把你想要的东西扔进盒子里。原理看似简单，但面对大盒子界面和众多HTML节点，对于新手来说有点压力。当然，界面复杂换来的是能够处理更复杂的情况，因为有更多可用的控件。图4：从排序框中提取数据示例优点：提取精度可以微调，提取字段灵活，也适用于复杂的网页。缺点：可视化效果一般，需要简单的HTML基础知识信息字段的功能，Extractor操作起来比较简单直观，适合一些简单结构化的URL，但是对于一些稍微复杂的URL，Extractor会有无法提取的问题。这时，吉搜客分拣箱的优势就凸显出来了。现在，在特别复杂的情况下，您还可以使用自定义 xpath 来定位数据。提取字段灵活，也适用于复杂的网页。缺点：可视化效果一般，需要简单的HTML基础知识信息字段的功能，Extractor操作起来比较简单直观，适合一些简单结构化的URL，但是对于一些稍微复杂的URL，Extractor会有无法提取的问题。这时，吉搜客分拣箱的优势就凸显出来了。现在，在特别复杂的情况下，您还可以使用自定义 xpath 来定位数据。提取字段灵活，也适用于复杂的网页。缺点：可视化效果一般，需要简单的HTML基础知识信息字段的功能，Extractor操作起来比较简单直观，适合一些简单结构化的URL，但是对于一些稍微复杂的URL，Extractor会有无法提取的问题。这时，吉搜客分拣箱的优势就凸显出来了。现在，在特别复杂的情况下，您还可以使用自定义 xpath 来定位数据。适合一些简单结构化的URL，但是对于一些稍微复杂的URL，Extractor会出现无法提取的问题。这时，吉搜客分拣箱的优势就凸显出来了。现在，在特别复杂的情况下，您还可以使用自定义 xpath 来定位数据。适合一些简单结构化的URL，但是对于一些稍微复杂的URL，Extractor会出现无法提取的问题。这时，吉搜客分拣箱的优势就凸显出来了。现在，在特别复杂的情况下，您还可以使用自定义 xpath 来定位数据。

　　Crawler (import.io) VS Crawler Route (GooSeeker) Crawler—— Crawler 字面意思是网络爬虫。顾名思义，就是在深度和广度上进行扩展，以便采集更多的数据。Crawler在Extractor的基础上实现了自动翻页功能。假设你想要采集网页数据有100个页面，import.io的爬虫采集可以一键下载这100个页面的信息，那么具体的采集流程是什么？为了实现，笔者带大家简单了解一下爬虫的采集流程。如图5所示，以同城58的租房信息为例，搜索关键词后，一共找到N页租房信息，以提取这些租房信息。爬虫的操作如下：(1）

　　图 6：爬虫添加页面示例 图 7：爬虫训练样本完成 Import.io 的爬虫训练过程 操作非常简单易懂。只需要选择几个结构相同的页面进行测试，相当于告诉爬虫，我就是采集这些相似页面的信息。爬虫理解了这些需求后，就可以下载相同结构采集的信息了，但是也会有一些小问题，当有些字段是细微变化的时候，因为和需要的数据不同在之前的训练中是采集，这个信息会被漏掉，所以Crawler比较适合结构很固定的页面。总结一下：优点：灵活采集，操作简单，采集 流程可视化缺点：继承Extractor的缺点，对数据结构要求高。GooSeeker爬虫路线 - 吉索克的爬虫路线的实现是基于排序框的。原理与Crawler基本相同。类似，但适应性更强，具有操作相对复杂的负面影响。让我们首先回顾一下组织盒子的概念。GooSeeker一直声称是“打造一个盒子，把你需要的内容放进去”。这个概念非常简单。您可以直观地选择所需的 Web 内容并将其存储在一个盒子中。如图8所示，以采集京东手机信息为例，如果要采集手机信息数据的所有页面，操作如下： 创建一个排序框，

　　不过操作可不是这句话那么简单，而是：在排序框中创建字段，这些字段称为“爬取内容”，也就是网页上的内容要扔到这些字段中，在DOM上选择tree to 将捕获的节点映射到一个字段。既然它说“建立一个盒子并放入你需要的东西”，你为什么不真的在视觉上这样做呢？这个地方需要改进，敬请期待即将到来的新版本中提供的直观注释功能。(2）构造爬虫路线，将“下一页”映射为标记线索（如图8），设置完成后，保存后可自动获取所有页面的信息采集@ >. 这个虽然过程说起来简单，但是操作起来相比Crawer还是有点不直观。它需要做几个简单的映射，即告诉爬虫：“这里是我要点击的”、“这里是我要提取的”，如下图，主要操作是针对数字做的对于 HTML DOM，用户最好有一个简单的 HTML 基础，这样 DOM 节点就可以准确定位，而不仅限于可见文本。图 8：履带式转弯原理页面示例优势：采集精度高，应用范围广。缺点：可视化效果一般，需要学习练习才能上手。综上所述，Import.io的Crawler和GooSeeker的爬虫路由主要完成了网络爬虫的爬取范围和深度的扩展上面的任务，我们只以翻页为例，

　　爬虫的操作比较简单，但适应性也比较窄，对网站的结构一致性要求比较高，而爬虫路由的功能相对比较强大，可以适应各种复杂的网站，但操作也比较复杂。连接器(import.io) VS 连续点击(采集客户) 连接器—— import.io 连接器是在网页上做动作，主要是为了URL不变，但信息在深层页面. 需要做完才可以显示，但是页面的url没有变化，大大增加了采集数据的难度，因为即使配置了规则，爬虫进入的页面也是初始的页面，不能是 采集 @采集 来定位信息，而连接器的存在就是为了解决这些问题。Connector可以记录这个点击过程，然后给目标页面的信采集也以58同城租房信息为例来测试Connector功能的可操作性。（1）点击可以找到你需要的信息采集所在的页面。如图所示，Connector可以记录用户每次的点击行为。 图9：Connector示例operation (2） 在目标页面建立规则并提取信息。到达目标页面后，需要做的操作和前面一样，提取需要的信息采集@ >.通过动手实践发现，连续点击的失败率比较高，如果是搜索，

　　如果可能的话，读者可以自己尝试一下，看看究竟是什么原因造成的。有没有似曾相识的感觉？没错，它有点像网络测试工具。它记录动作并回放它们。用户体验非常好。录制有时会失败。似乎有一些代价。估计还是定位不准的问题。当你用Later进行录制时，当网页的HTML DOM稍有变化时，动作可能会做错地方。优点：操作简单，采集过程完全可视化。缺点：点击动作最多只能点击10次，功能比较单一。同时，从使用情况来看，连接器录音功能的故障率很高，很多情况下运行失败，这可能是直观可视化的代价。GooSeeker 连续点击 - GooSeeker 连续点击的功能和它的名字完全一样。实现点击和采集的功能，结合爬虫路由，可以产生更强大的采集效果。这是一个比较高级的收客功能，会产生很多意想不到的采集方式，这里简单举例。如图10所示，到采集微博个人相关信息，因为这些数据必须通过将鼠标放在人物头像上来显示，都需要使用吉索客的连续点击功能。操作如下：采集目标字段，先定位网页，采集字段为采集，方法同上，不再赘述。

　　不像直观的录制那么简单，需要点击“创建”按钮，创建一个动作，指定点击的位置（一个web节点，用xpath表示），指定什么样的动作，根据需要设置一些高级选项. 如图 11 所示，GooSeeker 也相当于记录了一组动作，也可以重新排序或添加或删除。从图11中可以看出，类似录制过程的界面并没有那么亲民。再次看到 GooSeeker 的特点： 严谨的制作工具 图 10：连续点击操作示例 图 11：连续动作的排列界面 优点：功能强大，采集强大。缺点：上手比较困难，操作比较复杂。总而言之，*敏*感*词*。io Connector在操作上依然坚持一贯的风格，简单易用，Jisouke也再次给人“生产工具”的感觉。在连续动作的功能上，两者基本一致。通过以上对比，相信大家对大数据采集软件import.io的概念有了一定的了解。从各种功能的对比来看，特点主要体现在可视化、易学、操作简单。致力于打造纯傻瓜式操作的采集软件。集搜客的特点主要体现在半可视化、功能齐全、采集能力强，致力于为用户提供完整强大的数据采集功能。总之，两者各有千秋，两者都是非常好的数据采集软件。最后，有兴趣的读者可以去深入体验和研究一下，因为两者所宣称的价值，其实不仅仅是一个软件工具，而是“将互联网数据结构化转换，把网络变成所有人的数据库”的目标。希望以后有机会分享这种经验。