云采集(这是一个数据驱动商业发展的时代。(组图))

　　云采集(这是一个数据驱动商业发展的时代。(组图))

　　这是一个数据驱动业务发展的时代。

　　数据挖掘和分析不再仅仅是排他性的，它正逐渐成为广大中小企业的基本需求，也越来越迫切。并且随着网络爬虫的普及，云计算计算能力的提高，以及机器学习算法的发展，数据挖掘技能逐渐普及。广大中小企业也可以基于数据驱动提供更好的服务和产品，从而获得更大的发展。

　　数据挖掘实际上是一个很大的概念。本文主要讨论“挖掘”，或者说“网络爬虫”和“网络抓取”，比较容易理解。因为除了少数产品可以获取海量数据外，大部分企业都需要从公共数据中获取外部数据，主要是互联网，用于市场分析、舆情监测、竞品分析等。

　　在我看来，我更喜欢称它为“data采集”。分为“采集”和“采集”两个步骤。

　　对应的“采集”主要是数据的获取，可以通过多种方式获取。网页爬取为主，还有数据合作和采购。

　　对应的“集合”就是对数据进行清洗、连接、整合，将价值密度低的数据转化为价值密度高的数据。

　　数据采集 发展阶段

　　据笔者分析，数据采集从1990年*敏*感*词*始，在相当长的一段时间内，一直是技术开发者的一项特殊技能。但随着云计算、大数据甚至人工智能的发展，这个技能变得简单易用，就像“老王谢堂千言飞入寻常百姓家”。主要经历四个阶段。

　　熟悉爬虫的攻城狮会想说一堆喜欢的：Scrapy、WebMagic、Nutch、Heritrix等等，相信Github上的爬虫框架不下30个。它们的共同特点是：门槛高，仅供开发者使用，学习成本和维护成本高，企业组建爬虫团队往往成本高昂。

　　用户需要下载客户端并具备一定的HTML、正则表达式和CSS能力。国内最早的客户端叫做，属于一代爬虫工具，对html和正则表达式的要求还是比较高的（作者亲测）。

　　He等二代产品提供可视化爬取服务，通过点击爬取所需数据。其特点是：门槛进一步降低。对于非专业的开发者，经过一定的学习，可以自己爬取所需的公开数据。但是，它主要针对个人用户。由于用户客户端的限制，难以进行*敏*感*词*连续爬取，数据存储和分析难以平衡。

　　首先，用户体验大大提升。他们中的大多数采用点击式方法。用户所见即所得。他们可以在不编写代码或了解 HTML、正则表达式和 CSS 样式的情况下自定义所需的爬虫。其次，无需担心自己电脑的限制。爬虫运行的云端可以固定时间，也可以爬取大量数据。您甚至可以在云中进行一定程度的数据清理和集成。

　　目前国外数据采集项目大多采用前端点击方式和后端云服务模式。以下为国外项目列表：

　　目前国内data采集项目分为三种：

　　1、基于客户端或插件的云采集服务。

　　客户端模式代表了项目的和谐。它不是单纯依赖客户端的计算资源，而是使用客户端的方式，更好更快的可视化和点击用户体验。同时将爬取的服务转移到云端，提供更大的数据爬取能力和数据整合能力。

　　浏览器插件方式例如是通过安装浏览器插件实现前端点击方式和后端云服务方式。

　　2.基于Web的云采集服务

　　用户无需安装，直接对网友进行点击操作，云端进行爬虫服务。这种方法的优点是用户可以随时随地使用，简单方便。国外很多项目都采用这种模式，比如国内采用这种模式的项目就是。但缺点是网页需要先在云端加载渲染，再呈现给用户，需要提供者大量的计算资源，而且速度往往很慢。

　　3. Cloud for Developers采集云服务开发

　　目前，一家名为China的公司正在提供此类服务。具备Java能力的开发者可以在平台上开发爬虫；没有开发能力的用户可以在爬虫市场购买或定制爬虫进行开发。

　　目前市场上，基本上80%的人都是采集20%的网络数据，比如企业信息、电商、O2O等，而这些网络数据往往具有很强的反爬能力。

　　笔者认为目前数据采集还处于3.阶段，还没有形成4.0阶段，即提供数据采集@ >、清洗、连接、分析等综合数据服务能力。

　　从3.0到4.0的阶段，在笔者看来，不仅仅是技术上的升级。不同行业、不同场景需要不同的数据，往往难以标准化，导致定制化，难以形成标准产品，难以*敏*感*词*扩展。场景变化带来的技术挑战将凸显出来，因为真实场景所需的技术不是简单的升级，而是颠覆性的创新。

　　至于未来是否会完成跳跃，未来又会如何为大家服务，目前还很难说。目前国外import.io、dexi.io、Connotate、国内优采云、优采云、早书都在进行自己的探索。

　　合法性探讨

　　数据爬取的合法性在互联网领域一直存在争议，部分*敏*感*词*利用数据爬取工具进行黑商交易也是事实。数据抓取就像一把锋利的双刃剑，主要取决于用户是否以有益的方式应用它。

　　其实互联网数据爬取的主要原理就是Robots协议，也就是爬虫协议。网站通过Robots协议，告诉搜索引擎哪些页面可以爬取，哪些页面不能爬取。这原本主要针对搜索引擎公司，大家自觉遵守约定。

　　随着data采集范围的扩大，这个约定逐渐被打破，但也有既定的规则，广大data采集公司都应该遵守。

　　1、采集应该是互联网上的公开数据，数据的使用不能用于复制网站信息，或者干脆出售数据。更允许的情况是对多方采集的公开数据进行整合分析，形成数据分析服务。

　　2、采集的强度不应损害当前网站的性能，无形中增加目标网站的维护成本，甚至造成损失。

　　此外，我国刚刚于6月1日实施了《中华人民共和国互联网安全法》，这是我国网络领域的基本法，明确加强个人信息保护，打击网络诈骗。

　　《网络安全法》共7章79条，对个人信息泄露问题作出规定：网络产品和服务具有采集用户信息功能的，提供者应当明示并征得用户同意；网络运营者不得泄露、篡改、损毁其采集。任何个人和组织不得窃取或者以其他非法方式获取个人信息，不得非法出售或者非法向他人提供个人信息。这可能是对数据采集 公司更具方向性的指导。

　　数据采集发展到现在，怎么现在爆发了？

　　随着云计算、大数据、人工智能的发展，数据采集作为一种重要的数据手段，已成为企业的迫切需求。首当其冲的是中小企业的数据采集团队。不再需要维护一个完整的团队，大大降低了公司的成本。可以节省用户数据产品的开发，提升产品价值。对于普通个人来说，可以定制自己的data采集解决方案，门槛不高。更多行业、更多场景将被广泛应用。

　　人工智能的服务形态告诉我们，对于那些信息完备（Information-Complete）的领域，机器最终会超越并取代人类；

　　对于那些信息不完整（Information-Incomplete）的领域，也将通过人机协作推动新的发展；

　　对于那些抽象思维（Information-Free）的领域，仍然以人类为主，机器提供了一定的帮助。

　　Data采集 属于 Information-Complete 领域。机器可以在数据采集、清洗和整合上完全替代人类，然后通过与人类协作进行数据分析和预测。这将是即将发生的事情。

　　关于机器人云：

　　（微信公众号：vc-smart）是专业的创投机构投资管理服务商，帮助投资机构高效便捷管理投资项目，开发优质项目源，提供创投数据挖掘分析服务，助力投资管理人员可以快速获取项目、行业信息，协助行业分析。返回搜狐，查看更多