全网文章 采集(数据采集LogHub提供30+种开箱的数据日志采集 )

　　全网文章 采集(数据采集LogHub提供30+种开箱的数据日志采集

)

　　数据采集

　　LogHub提供30+种开箱即用的数据采集方式，包括日志、移动端、服务器端、程序、SDK、网页以及与云产品直连的嵌入式终端。在全方位的日志采集

中，我们简单介绍了各种方法。下面我们主要介绍一下物联网场景中主要涉及的两种数据采集：设备端数据采集和服务器端数据采集。

　　服务器数据采集

　　服务器日志采集由Logtail实现。Logtail 作为日志采集

代理，可以由中央服务器进行管理和控制。只需单击鼠标或 API，即可在几秒钟内向数百万台机器发出数据采集指令。

　　Logtail涵盖了阿里巴巴整个站点的物理机、虚拟机和容器。它每天负责数百万台服务器的数据采集。同时在阿里云公有云、友商云、用户IDC拥有数十万次安装。所有Linux版本，Window、Docker、K8S等环境；支持数十个数据源对接，体验双十一、新年红包等挑战。

　　得益于集团复杂场景的细化，Logtail在性能、资源消耗、可靠性、多组合隔离等硬指标上比开源代理（如Fluentd、Logstash、Beats）更先进。可满足全国最大的直播网站、最大的教育网站、最大的金融网站的严苛要求。与开源代理的主要差距在于日志格式的丰富性（当前版本的Logtail已经支持Logstash和Beats协议，这些开源插件可以无缝运行在Logtail上）。

　　Kubernetes 数据采集

　　目前，越来越多的物联网公司开始在K8S/Docker上构建服务端应用，以满足轻量级部署、快速扩展、降低运维成本的需求。Logtail 对 K8S/Docker 场景也非常友好。

　　Logtail针对Docker/K8S等场景做了大量适配工作，包括：

　　可以自豪地说，Logtail的解决方案是K8S下所有Agent中最完善、最完善的。感兴趣的可以参考LC3视角：Kubernetes下的日志采集、存储和处理技术实践。

　　设备端全局数据采集

　　C Producer Library继承了Logtail的稳定性和边界特性，可以定位为“轻量级Logtail”。虽然没有Logtail的实时配置管理和文件采集

机制，但是拥有70%的其他功能，包括：

　　更多关于 C Producer Library 的信息，请参考目录：

　　目前我们针对不同环境（如网络服务器、ARM设备、RTOS设备）从大到小提供3种解决方案：

　　同时，我们对Producer进行了一系列的性能和资源优化，确保数据采集可以“插”到任何IOT设备上。其中，C Producer Bricks版本达到了极限内存占用（库容量13KB，运行内存4KB以内）。

　　使用C Producer系列的客户包括：百万天猫精灵、儿童最爱的故事机火兔、世界码牛、钉钉路由器、兼容多平台视频播放器、实时帧图传输相机等。

　　这些智能 SDK 每天有超过 100 万的 DAU，分布在世界各地的设备上，每天传输数百 TB 的数据。C Producer Library的详细介绍请参考这篇文章：智能设备日志工具：嵌入式日志客户端（C Producer）发布。

　　全球加速数据采集

　　作为典型的“终端”设备，物联网设备通常部署在全国乃至全球。部署区域的网络条件难以保证。这会给数据采集带来一个巨大的问题：数据采集受网络质量影响，可靠性难以保证。.

　　针对以上问题，日志服务和阿里云CDN推出了全球数据上传自动加速解决方案：“基于阿里云CDN硬件资源，全球数据连接到最近的边缘节点，通过内部高速路由到LogHub通道，大大减少了网络延迟和抖动”。

　　该方案具有以下特点：

　　在我们的日志上传基准测试中，全球7个地区的整体延迟下降了50%，中东、欧洲、澳大利亚和新加坡效果明显。除了平均时延的降低，整体的稳定性也有了很大的提升（见下图，几乎没有抖动，超时请求基本是0）。确保无论何时何地在世界范围内，只要访问这个加速域名就可以高效便捷地将数据采集到想要的Region中。

　　关于全局加速的更多信息，请参考我们的文章：数据采集的新形式——全局加速。