事实:【直播回看】IT系统为什么需要可观测性

　　事实:【直播回看】IT系统为什么需要可观测性

　　1月19日，我们进行了“原力释放云原生可观察性分享会”的首次直播。与大家面对面交流的方式。

　　“云原生可观察性分享会”第一期《IT系统为什么需要可观察性》由云山网络CEO齐亚轩主讲。内容包括可观察性的五个方面： 1、为什么需要可观察性？2、如何理解可观察性？3、如何评价可观测性？4. 如何建立可观察性？5.如何使用可观察性？解释。

　　同时分享了10个行业案例，帮助大家进一步了解可观察性。当然也总结了可观测性的很多技术价值和应用实践，希望能帮助大家合理选择可观测性技术。点击文末【阅读原文】，可前往直播点评地址。以下是现场录制，接下来请开启沉浸式阅读模式。

　　大家好，我是云山网络创始人兼CEO齐亚轩。很荣幸参加云山首场直播活动，和大家分享我对可观察性的一些理解。

　　可观察性是监控领域非常流行的技术，尤其是面对云原生场景，可观察性几乎已经成为IT系统的必备能力。我的很多朋友、客户、合作伙伴、投资人，当然还有你，都对可观察性的发展充满了好奇和期待。

　　今晚，我要分享的话题是“为什么IT系统需要可观察性？” 希望自己能很好地回答这个问题，从价值、技术等多个层面阐明自己的独立思考。当然，我希望能与观众互动，共同探讨可观测性的发展趋势。

　　我分享的主题包括五个方面的可观察性。我开门见山先把结论告诉大家。

　　首先，为什么需要可观察性？答案是“授权”。可观察性的根本价值在于赋予 IT 人员权力。让工程师、架构师，甚至 CTO 和 CIO 与技术进步一起进步。

　　关于如何理解可观察性，我总结了几位业界大牛的定义，他们的观点非常有参考价值。同时，我也根据自己的分析和理解提出一个独立的意见，可观察性就是白盒监控。

　　如果你不能评价他，你就不能提高他。可观察性的评估非常重要。基于对白盒监控的理解，我给出了三种可观察性评价标准，帮助大家选择合理的可观察性技术。

　　关于如何构建可观察性，无外乎三种方式：SaaS服务、开源开发、集成产品。这三种方式对大多数企业来说都非常重要。SaaS满足快速体验，开源满足业务需求，集成满足行业合规。.

　　最后，我会分享十几个各行各业的实际用例如何使用可观察性。围绕智能汽车和股份制银行这两个用例，简单分享其他十个行业案例，提升大家对可观察性的理解。

　　01 ｜ 为什么我们需要可观察性？

　　愿原力与你同在。Spruce内部的研发团队经常用“原力”来描述可观察性的作用。可观察性是对工程师、架构师和技术总监的一种赋权。

　　对于工程师而言，可观察性使他们能够掌握技术趋势并深入了解云原生技术和分布式系统。让开发工程师了解基础设施，让系统和网络工程师了解应用。在云原生时代，全栈能力是工程师自身修养的重要组成部分，当然也是大家未来职业道路上升职加薪的保障。

　　对于架构师来说，通常的挑战是如何使 IT 系统能够支持业务量增长十倍。如果不采用云原生等新技术，就无法实现这样的增长速度。然而，技术创新背后存在巨大风险，可观察性为新技术的采用奠定了坚实的基础。一方面，通过自助监控，大大加快新业务的开发和测试速度；另一方面，通过全栈链路跟踪，保障投产后业务的稳定运行。

　　对于CTO等技术负责人来说，组织能力的提升极其重要。尽管公司的数字化业务增长迅速，但IT团队的组织架构和人力资源方面难以做出重大改变。因此，有必要借助可观察性建立“数据即事实”的团队协作原则，以消除部门间的协作障碍，有效提升组织的协同作战能力。

　　话虽如此，请解释为什么可观察性可以比作“力”。

　　可观察性数据已经存在，但分散在各个部门。可观测平台的建立是数据的聚合，可以认为是各部门力量的集合。

　　可观察性服务是通过聚合数据反馈各个部门，也就是形成一个可控的“力量”，成为像尤达先生一样的绝地武士。

　　02 | 如何理解可观察性？

　　可观测性有多种不同的定义，流传最广的是三大支柱。三大支柱是指标、跟踪和日志记录。三支柱理论之所以广为流传，是因为它最容易被工程师理解和接受。不过，三大支柱的提出者Peter Bourgon的初衷，可能并不是所有人都能理解。

　　Peter Bourgon 非常务实地指出，在讨论可观察性时，需要明确讨论的对象，针对不同的数据类型应该有不同的优化方法。注意，Peter Bourgon的本意并不是说可观察性是三大支柱，而是让大家具体问题具体分析。甚至Metrics在不同的场景下也有不同的含义和处理方式。

　　Google Dapper（谷歌的分布式跟踪系统）的作者Ben Sigelman甚至直言，metrics、tracing和logging只是三种数据类型。言下之意，具体问题需要具体分析。Google Dapper的论文，多多少少应该学学吧。了解 Google 如何使用零侵入式轻量级跟踪技术帮助团队调试和诊断分布式应用程序。

　　因此，对三大支柱理论的合理解释应该是，可观测性需要多种数据类型，而每种类型的数据在不同的场景下必须选择不同的处理方式。我希望每个人都能记住这一点。以后如果看到有兄弟把可观察性等同于三种数据结构，最好建议他看看Peter Bourgon的原博客。

　　Charity Majors是我非常尊敬的一位创始人。她是一位连续创业者，也曾在 Facebook 工作过。近年来，她创立了Honeycomb，专注于可观察性。她提出了一个非常独特的观点，即用可观察性来解释“未知-未知”的问题。这说法听上去有些玄乎和神秘。

　　我给大家解释一下：unknown-unknown可以简单理解为探索未知的问题。

　　在软件工程中，有一整套调试工具可以帮助开发人员发现软件中的未知问题。在分布式系统监控中，可观察性起到了类似调试工具的作用，通过交互式跟踪定位未知问题。这里请注意，探索未知的说法其实是Charity Majors借用了软件工程的可观察性理论。这个思路和 Google SRE 是一模一样的。

　　在Google SRE book的第12章中，明确指出observability的目的是为了快速排错。可见，软件工程对于可观察性是一个不可回避的门槛。想要唤醒大家对软件工程的记忆，不妨重读一遍《人月神话》，一定会有新的体会。

　　比起这位大哥（鲁道夫·卡尔曼），彼得、本、查瑞德再好也只能算是三体文明，而这位是真正的神级文明，因为他发明了法律。现代控制理论之父鲁道夫卡尔曼提出了系统的可观测性理论，并基于该理论将人类送上了月球。

　　那么，在神级文明的定义下，什么是可观测性？以下定义均来自维基百科。首先，控制理论中的可观察性是指系统可以从其外部输出推断出其内部状态的程度。其次，一个系统是可观察的当且仅当：对于所有的状态向量和控制向量，只有在有限的时间内根据输出信号才能识别当前状态。

　　这个定义很抽象，但是我可以帮你划重点：第一个是外部输出，第二个是内部状态，最后一个是限定时间。

　　比如新冠核酸检测：对外输出的是棉签戳的东西。，内部状态是肺部是否被冠状病毒感染，限时3到8小时。如果不是外部输出，说明需要输血或*敏*感*词*；如果不是内部状态，则无法进行分诊和治疗；如果不是限时，要么疫情肆虐，要么无法出行。

　　了解了这三个防疫要点的含义后，我们就可以在下面的IT系统中谈谈它们的解读了。

　　现代控制理论使用状态空间来描述系统，通过可观察性和可控性来解决复杂系统的控制问题。借用控制论的可观察性理论，引出了我对IT系统可观察性的理解。

　　首先，状态空间代表白盒监控，即必须对系统内部状态有清晰的认识，否则难以实现复杂应用的诊断。其次，对外输出意味着对系统，尤其是对业务要零侵入，否则会干扰系统的运行，达不到管控的目的。同样，内部状态必须是多维的。对于IT系统，就是我们常说的全栈，包括应用、系统、网络、各种中间件。

　　最后，有限的时间意味着实时的表现。从开发和测试的角度来看，调试速度应该在分钟级。从生产保障的角度来看，故障响应速度至少要在分钟级。因此，为了支持分钟级的工作流，可观察性平台必须在几秒钟内做出响应。

　　基于以上分析，我也提出自己对可观测性的理解。简单来说，可观察性就是为复杂的IT系统寻求白盒监控能力。IT系统的可观察性应具备零侵入、多维度、实时性等关键特性。以上是我对可观察性的理解。如有不准确之处，希望与大家共同探讨、学习。

　　做真正的技术创新，必须要有独立的观点。*敏*感*词*产品虽好，但真意难得。希望国内做observability的朋友多交流，迸发出更多更深的理解。后面我会基于以上理解，进一步阐明可观测性的技术和价值。

　　03 | 如何评估可观察性？

　　去年12月，我和一家保险公司的IT架构部门交流，谈到传统的APM需要为应用插入代码。腾讯会议对面的一个小姑娘突然跳出来说：“打桩干什么？”。当时，我非常惊讶。原来，插码的工作已经上升到“打桩”的难度了。可是“打桩”，为什么要一个小姑娘来做呢？

　　还有一个真实的案例，我去年10月份给某股份制银行做POC报告，观察到对方的Prometheus服务响应时间超过30s。顾客说：“这很正常。”

　　让985毕业的小姑娘去打桩？让每次检索数据都消耗写一行新代码的时间？这不是新一代IT人应该有的样子。残酷的现状需要改变。

　　

" />

　　可观察性必须解决以下问题：

　　在数百种服务中寻找瓶颈：提供非抽样、秒级精度，提供HTTP/DNS/GRPC等性能指标数据

　　千次访问跟踪应用：提供应用层Trace跟踪数据和网络层Flow跟踪数据

　　在数万个容器中定位根源：提供全栈（API、主机、基础设施）端到端指标数据、日志数据

　　注意，要解决上述问题，还需要零侵入和实时性。

　　关于零入侵标准：

　　传统的APM/NPM等工具需要在应用程序中进行打桩和代码插入，或者在基础设施中进行分光和镜像，这些都会对IT系统造成侵入。

　　可观察性需要使用外部数据进行分析，因此需要以非侵入的方式获取监控数据。无需打桩插码、分光镜像，通过开放的系统架构直接采集监测数据。零入侵的另一个方面是需要低功耗，并且应用程序或基础设施性能不能受到数据采集

的影响。例如，采集点用电量不应超过业务用电量的1%。

　　关于多维标准：

　　为保证云原生应用的稳定运行，可观测性必须收录

多维度的数据分析能力。具体来说，需要对应用API、容器、主机、网络等监控数据进行全栈关联分析。传统的APM工具只能在代码层定位问题，但无法追踪容器或宿主网络服务引起的故障。但是，传统的NPM工具无法通过与应用的TraceID关联来追踪经过NAT、LB等网元的流量。因此，多维度的全栈数据分析是对可观察性的第二个要求。

　　关于实时标准：

　　在自动控制中，过大的传感器反馈延迟会导致系统振荡而变得不可控。同样，云原生应用程序的动态特性要求可观察性平台是实时的。如果应用的升级/扩容是在分钟级完成的，那么监控系统就必须具备秒级的反馈能力。注意这里的反馈需要搜索和分析海量指标/跟踪/日志数据，因此可观测平台对海量数据的实时处理要求极高。

　　回到原力类比，如果没有零侵入，可观察平台，也就是原力采集

平台，是不可能被大家接受的。没有多维性，力就无法连接，自然也就失去了意义。如果没有实时表现，原力无法有效释放，就会被所有人控制。人的感知时间是秒级的，所以实时性必须是秒级的。

　　有了上述标准，就可以定量评估可观察性技术。

　　为了说明可观察性的技术评价，这里我着重介绍两个基于我自己产品的核心技术趋势：eBPF和OLAP。eBPF 解决了零入侵和一些多维问题。

　　如上图所示，左图是一个接近全栈的多维度监控对象，其实就是一个服务器。可以看到从下到上分别是宿主机HOST系统、HOST网络协议栈、虚拟机VM系统、虚拟机网络协议栈、容器POD、进程容器、sidecar容器、应用进程等。

　　传统的APM可以通过“打桩”，即代码插入，或者java代理来监控应用进程。即使扩展，也只能监控部分sidecar。传统的NPM可以通过设备的分光和镜像流量来监控主机的进出流量。扩展后可以监控主机上虚拟交换机的流量。

　　云山DeepFlow v5.0产品，在NPM的基础上，采用经典的BPF技术，通过宿主机的用户态（零侵入）来监控宿主机和虚拟机的系统和网卡流量。DeepFlow v6.0产品采用eBPF技术，进一步无入侵获取应用和sidecar信息，扩展多维度能力。

　　分析离不开OLAP。可观测性工程师天生就是数据分析工程师，OLAP能力少不了。三年来，云山DeepFlow产品中的关键数据组件经历了两次重要升级。

　　2018年以ES为主引擎，读写速度无法满足实时性要求，只能对数百规模的业务集群实现可观察性。2020年初，DeepFlow v5.5发布，加入深度优化的InfluxDB作为Metrics引擎，平台性能提升10倍，解决千台服务器集群的可观测性。

　　2021年12月发布第一版DeepFlow v6.0，进一步集成深度优化的ClickHouse作为观测数据的OLAP，读写性能进一步提升10倍，满足数万集群部署金融和互联网客户。

　　如果摩尔定律是芯片进化的黄金法则，芯片性能每 18 个月提升 2 倍。那么云时代的可观测性不难预测：即观测数据的读写速率每18个月增加10倍。关于可观察性的概念和技术的讨论到此结束。

　　然而，纸上谈兵总是肤浅的。如果要在实践中实现可观察性，会面临哪些问题？

　　由于可观察性是一种力，而控制力的能力是一个增长的过程，我将用亚马逊的飞轮模型来说明如何增加可观察性。

　　成长的第一步是理解和体验。体验可观察性的最佳方式是各种 SaaS 服务。这些可观察性SaaS服务可以让大家快速了解可观察性的价值。

　　成长的第二步是加速业务创新，即满足业务部门快速发展的需求。开源是技术团队应对快速创新的最佳路径。因此，如何利用开源技术搭建可观测平台，是飞轮增长的第二步。

　　增长的第三步是满足生产需要。一旦创新完成，将面临合规性、稳定性、安全性等一系列挑战。集成能力与可观察性相关，本身就是赋能，让业务团队、基础设施等团队、安全团队能够有效发挥作用。

　　随着技术的不断进步，可观测性飞轮将往复运动。经历了K8S之后是Serverless，普罗米修斯是Skywalking之后，APM的作战半径不到20%，全链路成为永恒的梦想？可观察性的增长飞轮将带领大家解决上述问题。

　　04｜如何建立可观察性？

　　建立可观察性的第一种方式，也是最快和最有效的方式，是使用 SaaS 服务。目前，云厂商和独立的第三方公司都提供可观测性SaaS服务。阿里云等云厂商为ARMS应用提供实时监控服务。您可以体验最近推出的K8S监控服务，它代表了可观察性的发展趋势。阿里云上还有一个比较基础的可观察性服务，就是SLS日志服务。用户可以将自己的观测数据存储在SLS服务中，按需使用。

　　相比之下，ARMS提供一站式服务，而SLS则提供了更多的自由度。国内的腾讯云、华为云等也提供可观测性服务。如果你是 AWS 或 Azure 的客户，你可以直接使用 Datadog。这家市值500亿美元的公司在可观察性方面可以算是龙头，主要提供SaaS服务。

　　国内的第三方提供商目前有观察云、程云等，云山还提供了一款名为DeepFlow Cloud的SaaS产品，方便大家体验。

　　SaaS服务的主要问题是用户的应用大概率需要运行在公有云上，观测数据必须交由第三方管理。此外，SaaS 的计费模式也相当复杂。有的是根据主机规模计算的，有的是根据数据量计算的。总之，这方面的预算很难准确规划。

　　因此，SaaS是中小企业的首选，但对于中大型客户，尤其是采用混合云架构、合规性要求高、有项目预算的大型行业客户，则难以依赖仅在 SaaS 上提供可观察性服务。

　　所以flywheel还有另外两种构建模式，开源和集成。

　　在这个时代，整个IT系统都是建立在开源之上的，可观察性也不例外。基于开源技术构建可观测平台是技术快速创新的必由之路。

　　如图所示，自下而上构建了一个基于开源的可观测平台，有丰富的开源组件可供选择。在采集层，实现零入侵采集，可以使用K8S daemons最优采集云采集器

设备，java agent，Prometheus的一些exporter等。

　　采集层要注意的是，在云原生系统下，监控数据必须遵循开放的标准，这样整个系统框架才能不断演进和扩展。采集层的开放标准主要有statsd和opentelemetry，尤其是opentelemetry，大有江湖一统之势。

　　采集层之上是数据层。之所以是数据层而不是存储层，是为了满足实时性的要求，读、存、写必须分离。数据层本质上是一个实时数据仓库，需要根据应用场景对读写进行深度优化。实时数仓技术要求高，可以由有经验的团队或厂家开发。

　　数据层之上是表示层。Grafana、skywalking、kibana、prometheus等常用组件支持指标、跟踪、日志、告警。让这些开源项目能够支持更多类型的数据展示，为不同部门提供APP、WEB、CLI、API等不同场景，是可观测平台团队的主要工作。

　　让我们来看看我们的一位客户如何改造 Grafana 以提供微服务的可观察性。

　　客户的开发团队需要对每个微服务进行细粒度的指标监控，包括HTTP和DNS的RED指标，即使用率、错误率、延迟指标。还需要TCP和网络层的各种指标，形成全栈链道监控能力。客户的业务团队也需要实时展示各个微服务的全局调用关系。这些工作都是由客户平台团队基于Grafana二次开发完成的。

　　

" />

　　如图所示，虽然每个显示的子视图大部分都是Grafana内置的，但是视图中的数据无法通过开源的telegraph直接获取。

　　事实上，客户在数据层和采集层与云山团队合作，解决了上述数据的零入侵采集和实时读写问题。客户团队更专注于Grafana的二次开发，快速满足业务需求。可见，开源项目并不能立即使用，而是需要根据业务需求快速开发。如果花时间改进开源项目的性能，则应该由专业团队完成，在开源许可下为社区做出贡献。

　　建立可观察性的第三种方法是集成。集成听起来没有 SaaS 和开源那么性感，但我认为集成是最困难的，因为集成的限制太多了。这些约束包括了解业务需求、提出合理的预算、满足行业合规、促进部门合作等等。

　　每一个地方出现问题都会导致整合项目无法落地，或者无法创造价值，最终导致项目失败或难以持续发展。集成的问题非常复杂，我在这里提出两种解决方案。

　　第一个想法是“数据就是真相”。部门之间的协作应该基于数据和事实，而不是个人的主观描述，这样才能避免推诿扯皮，促进团队合作。

　　第二个思路是“以业务为中心”。无论是开发、测试、系统、网络、安全等团队，所有团队都需要对业务有深刻的理解。对健康负责。

　　这个想法很容易理解，但实现起来仍然不清楚。下面举个例子进一步说明集成的复杂性。

　　这是某大银行的网络工程师给我们的开发方案。如果台下有网络工程师，能不能比较一下有没有这么超前的想法？

　　首先，融合的第一步是全栈流量采集能力，这里考虑最多的是零入侵特性。零入侵又分为：稳定性、可用性、资源消耗、通用性、存储消耗、网络消耗等问题。每一个问题都需要经过严格的长期测试来验证。

　　第二步是建立分布式系统的诊断能力。这里考虑最多的是多维分析能力。协议栈针对物理机、虚拟机、容器、业务代码等设计，需要全栈链路跟踪。此外，还要求能够通过API与大数据平台和其他监控平台进行集成。

　　第三步是对外服务能力。也是前面说的释放力量的阶段。这里考虑最多的是场景和自助服务。场景包括全网监控、应用监控、客户监控、安全监控等。自助服务需要用户自己完成主要功能。由于不同的场景需要不同的数据支撑，底层技术涉及到实时数仓的建立和集成。

　　借助可观察性，新一代网络工程师实现自我价值，提高团队间的协作能力。同样，系统团队、开发团队、SRE团队等也可以通过集成的方式构建可观察性平台，提升团队自身价值和协作能力。

　　05｜如何使用可观察性？

　　前面分享了observability的三种构造方法。下面我们就来看看可观察性在实战中是如何发挥其价值的。在这里我将更详细地描述两个典型的用例，同时快速介绍其他10个用例，以打开您的思路并体验可观察性的不同用途。

　　第一个用例来自一家业务瞬息万变的智能汽车公司。公司采用公有云+容器化部署核心业务，整合各类开源监控软件构建“统一业务监控平台”。公司业务迭代速度很快，但对微服务的观察不全一直是困扰业务快速上线的一大问题。业务上线后，如果遇到故障，只能靠猜测和逐段抓包来诊断故障原因，费时费力。

　　最近在生产环境中，在nginx-control上线的过程中，一个调用了service()的API（xxx-api）超时了。现有系统虽然可以定位工作负载和服务域名（即源和目的），但在经过多个微服务和网络服务后，并不知道是谁造成了访问中断。

　　由于客户端和服务端都没有（或不能）部署Skywalking监控和采集

日志，所以开发者不知道超时的原因。这个问题查了一天没有定论，严重影响了业务上线的进度。凭借全栈的可观察性能力，SRE团队在15分钟内定位到问题根源，即问题出在具体的Ingress Control容器POD上。在向开发人员反馈后，通过修复 Nginx 很快恢复了故障。

　　第二个用例来自一家股份制银行，在*敏*感*词*100多个城市设有服务网点。很多业务都部署在云平台上的容器上。超过10万个微服务运行在银行私有云平台上，数十万个POD支撑着业务，每分钟产生数亿次访问。

　　银行业务的运维人员经常会遇到关键资源访问过多的问题，尤其是在云上云下访问时，“谁动了我的数据库！” 是一种常见的抱怨。很难找出谁移动了关键资源。

　　难点之一是可疑元素太多，可疑元素隐藏在80000多个POD、8000多个Node、1000多个VM、1000多个Host中。第二个难点是每个可疑元素至少经过两次地址转换到关键资源，POD、Node、VM、Host、PIP、GW的访问路径非常复杂。第三个难点是业务POD上不允许抓包，网关GW上也很难抓包（网关丢包率高达40%）。

　　通过可观察性很好地解决了上述问题。首先，可观测平台在POD、Node、VM、Host、GW资源上提供了全网流量采集，解决了POD和MUX上流量采集难的问题。其次，可观测平台同步云平台NAT和LB的转换规则，通过服务器的源IP地址和目的IP地址，在分钟级的海量数据中找到对应的POD、Node、VM、Host；最后，可观测平台为业务部门梳理出常用的全栈链路观测模板，帮助业务部门分分钟定位业务性能峰值问题。

　　如图所示，根据业务场景，访问路径非常复杂，需要层层梳理。否则无法解决“谁动了我的数据库！”的问题。问题。

　　第一个用例是某银行在开发测试过程中遇到周期性业务抖动，一周无法上线。最后，通过可观察性找到了底层路由器循环。

　　第二个用例，某地产商的e-flow应用，上云后每周都会出问题。最后通过可观察性，发现了服务商DNS不稳定、开发团队非法升级代码、依赖第三方服务异常等一系列问题。

　　在第三个用例中，一家大型金融公司运营电子商务业务的容器平台。扩容一个POD需要一个多小时，还要反复重试。后来根据可观测性分析，逐渐定位是某物理网卡对ARP请求产生内环，更换机器后恢复正常。

　　第四个用例，某运营商某省公司在集团应用可用性评估中每年都在全省垫底。最后通过观察，发现LVS、nginx和某台物理交换机之间的链路出现丢包，彻底解决了长期存在的问题。

　　第五个用例，某大型私有云客户发现其关键业务中的SQL集群频繁主备切换。虽然业务没有中断，但风险极高。经过可观察平台分析，发现SQL切换仲裁在并发不高的情况下停止了服务，最终导致不必要的切换。

　　第六个用例，某银行个人贷款业务突然放缓。在大家怀疑网关丢包的情况下，利用可观测平台定位DNS服务异常。而且进一步发现，不仅服务可用区的DNS异常，其他区域也一样。根本原因是 DNS 配置错误。

　　第七个用例，BI业务在运行过程中出现性能抖动。业务端看到的只是客户端到BI的访问路径，而可观测平台看到的是业务端的整体依赖-NGINX-BI-RPC-MongoDB。后来确定是RPC服务中某个容器有问题，排除这个容器后业务恢复正常。

　　第8个用例，某省消防队，经常被省里通知，特别是在网络保护期间，必须排除通知的安全问题。由于全省消防内网复杂，通报仅针对不到10个对外服务IP，如何对内网攻击溯源变得十分困难。通过可观测平台，全省消防队实现了10分钟内响应通知的能力。

　　第九个用例，按照传统的pcap分析方法运维大型容器云平台。一个简单的故障平均会发现数千个数据包，耗费专家数小时的宝贵时间。通过可观测平台，业务排查从抓包分析转变为微服务RED指标监控和全栈链路跟踪，排查效率从小时级提升到分钟级。

　　在第十个用例中，某农商行视频业务上云后访问量提升近10倍。经常出现业务访问慢，几次扩容都解决不了的问题。后来根据可观测平台的分析，发现是某隐藏服务异常发送了RST包。优化服务队列和超时设置后，业务恢复正常。

　　我在这里简单介绍10个用例，更多精彩的用例会在接下来的直播中与我们的同事、客户和合作伙伴一起分享。

　　好了，总结一下今天的介绍吧。

　　为什么需要可观察性是为了“赋能”每个人。使工程师、架构师和技术经理能够提高他们的认知、创新和组织能力。

　　如何理解可观察性介绍了三个不同的视角：

　　如何评价可观察性，主要有三个方面，零侵入、多维、实时。前面的介绍也给出了详细的标准和背后的技术趋势。

　　至于如何构建可观察性，介绍了三种方法，SaaS用于体验，开源用于创新，集成用于合规。

　　最后介绍一下yoda、向阳、source这三大神。如果你想体验可观察力，可以找尤达大师。下面的二维码是免费的 DeepFlow Cloud SaaS 服务。

　　扫码加入

　　如果你想了解开源可观察性，可以观看我们的下一场直播，由云山研发VP和向阳博士带来。向阳头像下方的二维码是我们的直播频道。

　　如果你想实现一个可观察性项目，找我们的COO源是最合适的。他会在春节后的直播中为大家带来详细的解决方案介绍。如需提前了解解决方案，可扫描源头头像下方二维码，源头头像为我们的官方微信公众号。

　　事实:惊：高质量文章是这样制作!

　　两者都可以最佳地用作页面标题。

　　此外，想要高效挖掘海量关键词，可以使用百度推广助手工具、5118工具、追词工具等批量挖掘关键词。

　　逐字搜索，也可以再次挖掘相关词，如：

　　有点类似，一命二，二命四，

　　四命八，八生无限的意义，要自己去理解这个裂变思考。

　　创建独特而吸引人的标题

　　这些长尾关键词并不一定意味着必须使用这些词，它们可以被适当地修改或加工成有特色的标题，可以带来点击，例如添加（数字、年份和其他修饰符），可以匹配。

　　示例：6 月去哪里，1 月至 2 月最佳去处，2020 年最佳景点，等待

　　请记住，与众不同、有吸引力和与众不同的标题可以带来更多点击。

　　您如何创建高质量的内容？

　　首先，请理解这些话：

　　1、满足用户需求的内容是优质内容;

　　2、原创内容，满足用户需求，是蜘蛛最热门的内容;

　　3、高颜值的伪静态内容并非完全不受蜘蛛青睐;

　　4、完全逐字打字的原创性不一定是百度认为的原创;

　　5、内容越稀缺，价值越高，越容易收录;

　　一个好的SEO始于成为一个好的内容编辑，并掌握采集

和整合内容的能力。

　　80% 的网站站长不撰写内容

　　

" />

　　如何做好内容？

　　做好内容的安排，掌握以下方法;概述和摘要 - 段落标题 1 - 段落标题

　　2 - 段落标题

　　3 - 段落标题 4 - 摘要结束

　　正文的第一段也是开关，写了很好的总结，大致说明了文章的总体思路。

　　（开头不抄袭，为了呼应标题，一般程序默认调用第一段作为描述描述。接下来是第一段的标题;第二段标题;第三段的标题;第四段的标题。

　　最后，是

　　总结本文的要点或核心，用来结尾，也可以留悬念。

　　最后可以附上本文外观和版权复制的信息，也可以推荐其他文章指导阅读。

　　内容发布的详细要点：

　　段落标题应突出，易于查看和理解，一般为粗体字体;

　　每个段落必须有一张图片（一般带有图片，要与段落的主题相关），图片的好处是方便蜘蛛抓取图片展示，也方便用户查看。（用户是视觉动物）。

　　肯定词的数量没有限制，但不要只用几句话就说完，除非你能用几句话解决用户的需求和疑惑。正文的字体一定要统一，颜色也要统一，不要有多种格式，不要花在花上。

　　文字不宜刻意穿插关键词，不采用自动链条，不堆关键词，不人为做密度。适当使用粗体标签，通常用于段落标题。

　　看看下面的图片

　　好读性的内容还需要与网页的代码和设计相关，请参考网页开发

　　人们共同努力改善页面体验。

　　

" />

　　很多新站长都感到困惑：

　　问。为什么我自己写的内容没有收录在我自己的网站上，别人采集

后就采集

了？

　　答：一方面是收录因素是原创性，另一方面是网站的权重;高权威网站快速收录，低权威网站收录慢或不收录很正常，这些都是正常的，我们要做的是努力做好每一步，争取百度提升我们的权重分数。（树苗总有一天会长成高耸的建筑。

　　有一个

　　让新网站也编入索引的方式，即页面必须有时间因素，原创内容尽快推送到百度进行识别。

　　Q、采集

了某同行内容，为什么还有收录和排名？我不能采集

它？

　　答，如上所述，旧网站有权重新获得信誉，与百度待遇肯定不同。如果整个网站70%被采集

，可能会被百度算法击中。（当然也可以举报给百度，不好笑~~）

　　作为新网站当初采集

的，百度打击目标，自作自受。（如果你约了一个女孩，第一次见面迟到了，会有下一次约会的可能吗？自然，你被贴上了“不好印象”的标签。）

　　请注意，新网站必须做好内容，能原创的要原创，尽量避免伪原创。争取“杜娘”爱上你。

　　Q 我每天都强调做好内容质量，工作太忙没时间写内容，文笔不好，小学还没毕业，作业不好，打字慢，唉......巴拉更多的投诉省略了...

　　答：我需要高度来做内容优化和更新吗？需要高水平的工作吗？真的没有时间吗？打字慢也是一个原因吗？

　　都是因为懒惰!!!

　　请按照上面的总分-总分、格式来写内容，一定要安排好，好的排版也会得到很好的印象。没有时间，没有打字，请使用以下方法。

　　手机安装科大讯飞输入法

　　通过科大讯飞输入法，使用语音转文本法，让你的输入速度在一分钟内快几倍，再试一试后评估。

　　随时随地在手机上安装有道云笔记，并记下要语音发送的短信;PC可以同步以组织发布网站的点点滴滴。

　　或者，使用手机微信

　　【文件传输助手】通过语音输入法在电脑版微信上快速表达您的内容创作和想法，内容分钟到来。在计算机上将贴纸贴到网站背景很方便。

　　仔细阅读上述方法并执行后，相信您可以做到！