云采集(混合云架构将是企业未来5~10最常见的架构形态)

　　云采集(混合云架构将是企业未来5~10最常见的架构形态)

　　IBM 商业价值研究院 (IBV) 预测，到 2021 年底，98% 的组织将采用多云架构。广泛的混合云包括多供应商公共云、私有云和本地数据中心的混合。

　　混合云架构将成为企业

　　未来5-10年最常见的建筑形式

　　混合云将企业私有云、公有云、本地数据中心有机结合，为企业提供更丰富的云服务、更灵活的云资源、更合理的云成本。企业可以根据业务的实际需求，灵活选择将自己的服务部署在云上或云下、公有云或私有云，甚至在哪一个云上。

　　同时，也给IT管理带来了巨大的挑战。

　　根据“公共云、私有云和本地数据中心监控的挑战”调查，86% 的受访者表示数据包可见性对于网络和应用程序性能监控很重要，但不到 20% 的受访者表示他们可以访问数据完整及时地打包在公有云中。在私有云中，情况会更好。55% 的人拥有足够的访问权限，但这一数据在本地数据中心高达 82%。

　　（图片来源：“不到 20% 的 IT 专业人员可以完全访问公共云中的关键数据”）

　　显然，公有云和混合云监控的成熟度远远落后于传统数据中心，产生偏差的主要原因是数据包的可见性。

　　为什么要实现流量的统一采集？

　　混合架构采集的全流程是实现全业务路径性能监控的前提和基础。这是第一步。基于原创数据流，经过处理应用后，可以在性能分析、根本原因定位、故障排查等场景中释放数据价值。但前提是我们要保证数据来源全面、准确、可靠。

　　与传统物理环境不同，目前混合云环境的流量主要有以下三种方式：

　　（混合云环境中的三种流量采集）

　　那么，应该如何选择流采集方式呢？在回答这个问题之前，我们需要先了解一下混合云架构，企业在选择和进行流量时会遇到哪些问题采集。

　　混合云环境流量现状及痛点采集

　　在传统环境中，所有应用网络流量都必须经过物理层网络设施。我们可以通过在交换机端口上设置端口镜像或TAP转发来绕过数据流量。采集。

　　但是，在云环境中，网络端口也是虚拟化的，物理节点无法覆盖业务数据流经的关键路径。要实现全流量采集，需要具备VPC、宿主容器、POD、OVS等不同层次节点的采集能力。

　　在混合云架构中，企业实现了计算资源的统一池化管理。但是在数据层面采集，往往缺乏规划。VMware、裸机、容器、云平台等异构资源采集工具各有千秋。由于资源池数量和类型的变化，企业被动增加竖井式采集系统，会造成流量重复采集，数据源不统一一、采集 工具难以适应资源池的动态变化等问题。

　　与传统物理环境相比，云环境中的主机和容器会动态创建、销毁、迁移和弹性扩展。如果是固定配置监控，动态迁移后，采集的流量不能中断，运输环境的动态变化是随机正常的。此外，云环境下数据流量的高并发、多租户、海量数据等特点，无疑对采集系统的性能提出了更高的要求。

　　我们都知道，在传统架构中，一个服务通常由固定数量或几十个服务器组成；在微服务架构中，一个服务可能由数百个容器组成，服务节点的数量从一百个增加到万个。过多的采集节点必然会造成原有业务资源的侵占和消耗。另外，部署采集节点是否会造成业务系统不兼容等问题，影响我们业务系统的正常运行，也是我们不得不考虑的一个重要问题。

　　流量 采集器 本身没有价值。只有通过完善的数据聚合转发功能，才能实现业务和网络运维管理。同时，通过第三方接口为业务运营提供应用场景，生成业务成果。由于缺乏规划，很多企业片面追求流量采集的全面性，盲目增加采集节点。在造成资源浪费的同时，也难以落地。

　　如何在*敏*感*词*虚拟混合环境中部署一个流量全覆盖、无业务入侵、资源消耗低、采集高性能、无缝对接运维应用平台的采集系统？这是为混合云环境流量选择解决方案时需要考虑的关键问题采集。

　　混合云环境流量如何选择解决方案采集？

　　要构建统一、高效、全流程、无盲区的采集系统，采集工具的选择必须跨越私有云、公有云、容器、传统环境等多种混合架构，提供一致的采集数据源和转发存储计划。

　　（云上云一体化解决方案）

　　在云环境中，采集工具需要具备自动感知节点变化的能力，然后自动进行相应的更新或部署，以保证采集的工作不被中断并适应弹性伸缩的能力在云上。

　　除了不稳定之外，采集工具还需要适应云上的*敏*感*词*、高并发的流量机制。基于高性能流量捕获技术和自动接收流量转发技术，实现TB级全流量效率。采集。

　　云上的安全性不容忽视。采集器的质量应以不影响生产业务的正常运行为前提。

　　我们可以通过在KVM主机、vmware主机和Kubernetes节点上部署单个采集节点，减少采集器的整体数量，降低采集器的资源开销和管理复杂度；

　　通过虚拟机平台、云平台或Kubernetes平台的API获取业务虚拟机或POD的资源信息，并同步到采集器管理平台。采集器管理平台通过同步的资源信息判断虚拟机或POD是否对采集的实例进行扩容或缩容，从而生成新的采集配置，发送给采集器通过控制器，采集器根据采集配置的变化动态调整采集策略，通过先进的旁路流采集技术，实现动态扩展和非感应流采集的收缩。

　　通过采集器管理平台的自我监控能力，可以实时了解采集器的资源消耗状况，及时调整优化资源配置和采集配置。

　　当流采集工具、流分析工具和绩效管理工具分列形成时，企业往往难以梳理出完整的业务流访问路径，实现端到端的绩效可视化管理。因此，在进行流量采集规划时，更要注意后续的存储转发、解码分析、运维保障等完整性方案；在选择解决方案供应商时，要从业务运营监控、故障诊断、交易分析、业务价值输出等方面的技术能力和经验进行评估，这就是全流程采集的意义和价值。

　　天单先后为联通支付（华为云）、台州银行（EasyStack）、恒丰银行（基于OpenStack开源版自建）等客户提供全流程技术支持和运维保障。目前，云上2000多个业务节点在天单产品的监控保障下。