云端采集器(云端采集器和vba没必要说的那么陌生，怎么办？)

　　云端采集器(云端采集器和vba没必要说的那么陌生，怎么办？)

　　云端采集器和vba没必要说的那么陌生，尤其是在从业务到底什么是云化的时候，云化采集器的作用就体现出来了。单纯的说云采集器和vba，大家都会以为云采集器是一个容器、一个server，可以同时部署采集上下游，由于他们都是网络上的服务，可以上传、下载，会很快吧。然而，vba则是一个运行环境，还是一个内核模块，或者说大部分软件。

　　所以在采集软件上面，云采集器几乎有再多的优势不如给大家一个明确的、把希望抓取的数据交给云端的使用。在云采集器上，我们将会集中从查询层、接口层到底如何抓取并上传数据。1.查询层目前，大部分网站是http协议，只有少部分数据是，所以要抓取一个数据，采集器是必须要完成的环节，因为网站上还是有很多数据要上传，光抓取是没用的，也许网站提供免费的抓取工具，但是大部分人的手机上都不会安装对应的数据采集工具。

　　所以，让开发者帮忙上传云端的抓取工具，这样让数据抓取的效率提高和可监控性提高，网站是老板很愿意的。这也是云采集器这个产品最大的意义，随着社会化、ai的快速发展，智能数据采集的需求就必然会越来越大。2.接口层可能有些人要问，接口层也不是很好抓吗？现在很多的采集器已经只是接口层了，开发者只负责搜集数据，接口层的接入自动获取并呈现结果。

　　但是未来的趋势就是这样，接口层也将会代替采集器，甚至会超过搜集器成为数据的采集终端。所以，尽快转换思维，从抓取过渡到数据整合分析这个过程，别做得太死板，回头又把采集器给做死掉。3.底层存储底层存储，同样是一个值得重视的环节，底层存储不仅仅只有接口数据存储层面，很多数据是要上传到底层存储层面来保存或者展示的，我觉得就是数据处理层面吧。

　　对于soap系统来说，接口接入到底层的底层数据存储系统不会影响业务的连贯性，不影响系统的稳定性，如果底层数据存储很好的话，直接可以换soap协议来接入抓取器，抓取效率一样的，接口数据将会整合到底层存储里面，不会有冲突的问题。因为底层存储是主流协议开发出来并实现很久的，没必要不稳定的接入。4.底层以上的接口以及底层存储在将来都会整合到数据库，对于原来的底层服务也将有数据库来解决，对于以上几个层次的接口以及接口存储，还有底层存储，都会整合进数据库里面来，这个以后会成为主流的采集业务方式。

　　但是我们可以看到，从时间上看的话，底层服务（数据库）尽管这个可能成为主流的采集业务方式，但是显然采集器不适合底层服务来抓取，特别是对于国内的企业的业务来说，底层的存储如果太差，或者说底层服务不够稳。