采集器在采集数据之前需要的几种数据格式

　　采集器在采集数据之前需要的几种数据格式

　　采集器在采集数据之前，首先要弄清楚对方需要的数据格式，也就是数据采集协议，目前比较先进的数据采集协议主要有以下几种：squid协议：支持一对多协议，也就是1+1和一对n的模式。zookeeper协议：支持一对多协议zoo协议：支持n对n协议filed协议：支持一对n协议zip协议：支持一对n协议总结来看，c/s结构的数据采集器，和b/s结构的采集器，要采集的数据格式是不一样的，需要使用不同的采集协议，才能正常工作。

　　不过在开发人员不能理解如此复杂的数据采集协议的情况下，一些采集器厂商会推出集成mysql或者mongodb/redis，hbase等不同类型数据库的采集器。主要原因就是让开发人员能够更容易接受。当然对于普通用户来说，需要解决的主要问题就是采集量的大小，因为集成类型的采集器一般采集的数据量都不会很大，即使单个采集器集成mysql，mongodb这样的数据库，速度也非常快，不会对数据库和中间层的访问造成太大的影响。

　　而需要采集高水平数据的时候，就必须要建立数据库连接，再传递给采集器数据，这样对于数据库访问的负担就很大，而且对于关系型数据库，一般采用多对多的模式，传递的数据是的，对于下游开发，容易出现写满的情况，而且安全性也受到影响。再一个数据采集器必须要支持的采集通道，一般采集器只能采集本机数据，如果需要同步数据，需要和主机进行socket进行，速度比较慢。

　　如果是模拟数据采集，就必须要搭建数据链路，那这个费用就大了，一般的集成数据采集器，最多支持20通道，需要搭建20通道的采集通道时，集成采集器的网络压力就会很大，可能每天都要维护，浪费时间。