数据采集工具选型

优采云 发布时间: 2020-08-09 18:28

  今天得悉自己写的爬虫工具公司不想使用,还有好多待建立的地方,领导想压缩时间要在市面选择实惠且流行并功能强悍的采集工具。这就难倒我了,这几点凑到一起,可以说是微乎其微。

  下面简单介绍一下我看的几款采集工具,有不足或说的不对的地方,请你们见谅。

  一、优采云采集器

  这个采集器功能强悍,基本满足需求,但是价钱很贵,就这一个诱因就被停止继续研究了。

  不过这个采集器自己认为即使是比较人性化的数据采集器(*敏*感*词*早已够自己玩的了,但想要企业持久使用还需选购,30万!!!)

  二、熊猫智能采集V3.5

  优采云采集器器觉得略微有这么一点不够人性化,每个步骤都可能遇见你想像不到的问题,比较麻烦。我碰到的问题是不能加载我的业务系统的页面的款式(一版传统的网页爬取还可以)。还有个主要的问题,他不支持私有云布署。打个比方,我若果买了这款工具,我必须在服务器上安装一个熊猫,在那开着,怎么想都太别扭。

  三、优采云采集器 v2.4.9.0

  这款采集器还是比较受你们欢迎的,客服也太乐于帮助我这些爱问的人。帮我解答了好多疑惑。基本功能都可以支持。但是我们有个重复数据判断的需求,他满足不了,就被我们pass了。但个人觉得,他仅次于优采云。

  四、ForeSpider

  这款采集器刚打开时,给我眼前一亮的觉得。但是,他连我们的业务系统的登入页都加载不下来,样式没有,按钮也没有。同时他也不支持私有云布署。能干啥啊,爬取网页我试都没试,没啥心情,可能有长处吧。毕竟还活着。

  五、优采云采集器

  优采云采集器从客服了解到,他们的验证码功能下线了,必须自动打码。并且不支持私有云布署。最后选中了他,哇偶。为啥?可能由于它能为我订制开发吧。

  六、TRS InfoRadar

  最后看了一下这个采集工具,采集网站页面及其便捷、好用。但是不支持业务系统的采集。最后他也中标了。我们用它来采集所有网页信息。

  其实我想说,爬虫挺好整。那我为何不整呢?因为懒。完善所有的产品线,需要时间,给我6个月也差不多(吹个真实的牛)。本人后面的博客有介绍爬虫的具体功能,适合订制编程,但不适宜产品型编程。谢谢阅读,有说的不对的地方,也请你们多多见谅。

0 个评论

要回复文章请先登录注册


官方客服QQ群

微信人工客服

QQ人工客服


线