解决方案:微众银行智能运维AIOps系列| 浅析基于知识图谱的根因分析系统（五）

　　解决方案:微众银行智能运维AIOps系列| 浅析基于知识图谱的根因分析系统（五）

　　智能运维系列简介：智能运维（AIOps），按照Gartner的最新解释，是指集成大数据和机器学习能力，以松散耦合和可扩展的方式提取和分析数据量和种类）和速度（ velocity）这三个维度不断增长的IT数据，进而为IT运维管理产品提供支撑。在此，微众银行智能运维团队根据一线工作的实践经验和心得，特地撰写了《智能运维系列》一文。本公众号稍后发布，敬请持续关注。

　　点击回顾：智能运维系列（一） | AIOps的兴起与实践点击回顾：智能运维系列（二）| 探索智能监控领域

　　点击回顾：智能运维系列（三） | 智能异常检测分析——“灰之图”核心算法

　　点击回顾：智能运维系列（四） | 曝光交易路径

　　作为国内首家开业的民营银行和互联网银行，微众银行业务近年来发展迅速。大量客户和交易导致IT系统出*敏*感*词*融交易体验。为了保证业务的正常运行，全面提升数字化运维的两个关键指标MTBF（Mean Time Between Failure）和MTTR（Mean Time to Repair），除了快速发现异常，还需要能够快速、准确、有效地分析异常根源，快速恢复。为实现这一目标，微众银行运维团队在智能根因分析方面深耕细作，开发了智能根因分析系统。现在，基于该系统的根本原因分析准确率稳定在80%左右。下面将详细介绍该系统的设计理念。

　　数据库

　　“不积步，无以至万里；不积小流，无以成江海”。无论是人类专家还是计算机，都需要数据支持进行分析、推理和决策。因此，数据的准确性、及时性和完整性在根本原因分析中非常重要。智能根因分析之路没有捷径可走，基于配置管理系统的IT运维系统群为其提供了坚实的数据基础。长期投入IT基础工程研发，构建了较为完备的运维体系。在此基础上开始了智能运维的实践。下一个，

　　配置数据

　　配置数据主要从CMDB（Configuration Management）系统中获取。CMDB系统是很多运维工程师都熟悉的系统。它收录

有关配置项的生命周期以及配置项之间的关系（包括物理关系、逻辑关系和依赖关系）的信息。从图1可以看出，从业务层到基础设施层，配置项与配置项之间的关联关系完全存储在配置管理系统中。智能根因分析，获取关联配置数据进行关联分析。

　　图 1 配置项的层次结构

　　日志

　　日志主要包括WEMQ日志、业务日志和应用日志。WEMQ日志是微众银行开发的消息总线系统产生的日志，微众银行的系统间调用基本都是通过WEMQ系统完成的。业务日志是业务模块输出的日志（格式化的业务事务日志）。其内容紧扣产品和场景，记录业务相关信息。应用日志是应用程序输出的日志，包括一些异常堆栈信息。通过WEMQ消息的日志，我们可以分析出每个事务经过的子系统及其调用，如下图所示：

　　图 2 事务调用树

　　警报

　　监控系统可以说是IT运维的生命线。集中采集业务和基础设施相关指标数据，支持指标实时计算。通过监控策略，可以从这些指标或用户上报的数据中发现异常，并产生告警。为IT运维故障诊断提供完备的数据支持。监控系统为智能根因分析提供两部分数据：一部分是实时采集的时间序列数据，即指标数据；另一部分是根据指标计算或其他第三方系统上报的告警信息。

　　改变

　　

" />

　　变更系统提供了数据库、系统版本发布、主机、网络等一系列变更操作和记录，所有运维操作都必须在系统上完成，因此系统记录了内部变更数据的全量。基于这些变化数据，智能根因分析系统可以获取与异常相关的运维操作数据，并结合其他数据进行根因定位。

　　图 3 更改视图

　　技术选择

　　在根本原因分析技术的选择上，我们进行了初步的讨论和调查。在异常检测方面，我们采用了深度学习、机器学习等技术，取得了很好的效果。但在根因分析方面，我们决定采用专家系统技术来实现，主要有以下原因： 第一，“业务异常”的数据是“小数据”。在公司正常运营过程中，真正影响业务的异常事件数据会很少，数据积累的速度也会很慢。在“小数据”的基础上，机器学习在根本原因分析中的应用相对有限。其次，“根本原因分析”需要具有很强的解释性。每次业务异常后，运维工程师会有完整的异常事件分析报告。机器学习在可解释性上相对较弱，而专家系统可以更好地解释根本原因是如何分析的，更符合人类的思维逻辑。最后，利用人类专家“举一反三”的能力，可以在短时间内构建根因分析系统。因此，我们首先选择专家系统的解决方案，总结IT专家的经验，形成推导规则。利用人类专家“举一反三”的能力，可以在短时间内构建根因分析系统。因此，我们首先选择专家系统的解决方案，总结IT专家的经验，形成推导规则。利用人类专家“举一反三”的能力，可以在短时间内构建根因分析系统。因此，我们首先选择专家系统的解决方案，总结IT专家的经验，形成推导规则。

　　图 4 机器学习和专家系统

　　专家系统和知识图谱

　　早期我们使用Drools规则引擎实现了一个基于规则的根因分析系统。通过不断丰富和完善推导规则，很快具备了根因分析能力。但是在应用了一段时间后，发现这个方案还是有不足之处。主要有两个方面：第一是数据不透明。每次异常之后，我们都需要检查根因分析是否正确。如果根本原因是正确的，那么需要向团队同步推导出根本原因的数据和推理逻辑；如果根因错误，需要检查是否存在数据缺失、推导规则错误等问题。团队称这种类型的工作案例审查。回放需要依赖当时获取的异常数据。起初，我们把所有的数据都放在TDSQL里面，他们之间是没有关联的。所以回放的时候数据是碎片化的，数据透明性很差。难度也比较大。后来又引入了图数据库，将异常数据以知识图谱的形式存储起来，方便查询和展示。最后，规则难以维护。在根因分析系统的早期版本中，推理模块是Drools实现的规则引擎。虽然解决了知识和代码之间的耦合问题，但是当规则越来越多的时候，很难从单一的规则中看出来。整体的推导逻辑相对难以维护。调整后，基于图数据库，我们根据不同的异常类型，写了一个推导模型，通过模型，我们可以在图数据库中找到根本原因。这样只需要维护模型，降低了规则的维护难度。

　　根本原因分析设计

　　根本原因分析的总体思路是当异常事件发生时，系统采集

信息并生成异常事件的知识图谱，并在此基础上采用演绎推理和归纳推理的方法分析事件的根本原因图的。简单理解就是图+统计+规则。根因分析将重点关注时延、交易量、业务成功率、系统成功率四类指标的异常，然后分信息采集

、根因定位、根因补充三个步骤进行处理分析，最后分析根本原因。从这个角度来看，如何设计异常事件的知识图谱是我们根因分析设计的关键。接下来将详细描述该设计，

　　异常事件知识图谱设计

　　异常事件知识图谱是结合“动态”和“静态”数据设计的。“动态”数据包括与业务流程相关的日志和证据数据，“静态”数据来自CMDB等配置系统。这两类数据共同构成了异常事件的完整地图。如下图，从图中可以看出，图是有方向的，从左到右依次分析推导根因，最终分析出根因。

　　图 5 异常事件知识图谱设计

　　一般来说，知识图谱设计和根因分析一般包括三个阶段：信息采集

、根因定位、根因补充。首先是信息采集

阶段，会采集

完整的信息用于构建知识图谱，主要采集

以下几个维度的信息： 1. 事件：异常事件的起点，包括异常事件的相关信息，如事件的开始时间等待。2、指标：产品的主要指标。我们选取了四类指标作为黄金指标来检测产品业务是否异常。每个场景都有对应的黄金指标，包括：

　　(1) 交易量：单位时间内的交易次数。

　　(2)业务成功率：单位时间内的业务成功率，业务失败时该指标下降。业务故障是指符合业务逻辑的故障，例如验证码故障。

　　(3) 系统成功率：单位时间内系统的成功率，当系统出现故障时该指标会下降。当系统出现故障时，是指系统内部出现故障，如数据库连接异常。

　　

" />

　　(4)Latency：单位时间内完成交易的总耗时。

　　3、业务流量：用户对产品的操作产生的流量。每个操作都会生成一个唯一的编号，也称为交易。这个数字可以与业务日志和实时树日志（WEMQ 日志）相关联。4、业务日志：各系统按照规范打印业务相关日志，从中可以查询到具体的业务参数和相关调用信息。除了业务相关信息外，日志中还收录

事务发生的子系统、主机、DCN等信息。5、实时树形日志：上面提到的WEMQ日志可以分析出事务的完整调用路径，包括经过的主机、耗时等详细数据。二是根本原因定位阶段。在这个阶段，根据采集

到的日志数据，对事务进行统计分析，定位出事件的根本原因是哪个子系统或主机。以系统成功率为例，当出现异常时，多个事务产生错误日志。此时提取异常时间点的交易信息，发现当时有n笔交易是异常交易。对这n笔交易进行统计分析后发现，这n笔交易均报错于同一个子系统，说明该子系统为根因子系统。提取异常时间点的交易信息，发现当时有n笔交易为异常交易。对这n笔交易进行统计分析后发现，这n笔交易均报错于同一个子系统，说明该子系统为根因子系统。提取异常时间点的交易信息，发现当时有n笔交易为异常交易。对这n笔交易进行统计分析后发现，这n笔交易均报错于同一个子系统，说明该子系统为根因子系统。

　　最后一个阶段是根本原因补充。该阶段会利用告警、变化等数据进行分析，补充根因。如果异常位于某个子系统，如果该子系统还有告警、变化等数据，则进一步添加到根因中，使根因更加具体和清晰。实际案例

　　整个系统的根本原因分析分为三个阶段。下面将通过一个实际案例来简单介绍一下智能根因分析系统的工作原理。

　　第一阶段：信息采集

　　在信息采集阶段，通过事件中心关联查询异常相关的日志、告警、变更、配置等信息，构建完整的异常事件知识图谱。1、以事件为起点，关联查询与该异常事件相关的索引信息。2、通过获取异常时间点的业务流信息，查询可以关联到对应业务序号的业务流日志和实时树日志。3. 获取当前存在的证据。4. 将所有数据写入图数据库，生成知识图谱。

　　图6 异常事件知识图谱

　　第 2 阶段：根本原因定位

　　根因定位阶段基于异常事件知识图谱，应用推导模型提取异常子系统及相关IP、DCN、业务信息，对异常事件起到定位和分析的作用。知识图谱被裁剪。如图7所示，应用图分析的推导模型后，从知识图谱中提取异常子系统及其相关IP、DCN及其证据。

　　图7 应用推导模型后的知识图谱

　　第三阶段：根本原因补充

　　根本原因补充是对异常事件进行最终根本原因表征的阶段。应用规则引擎在第二阶段数据的基础上，最终推导出根因结论。从Phase 2就已经可以很清楚的发现事件的根源，所有耗时的实时树日志都指向APS子系统，而此时高耗时的实时树所经过的主机和APS子系统——时间树日志传递可以关联应用版本发布信息。通过该图片获取的信息，经过语音技术处理，最终智能根因分析系统给出的异常事件根因为：【应用版本发布】子系统6009 AOMP应用发布。影响：上游DSFS接口被激活，返回信息：激活成功（交易时间异常高）。以上是一个异常延迟的案例。通过三个阶段的分析，最终定位到应用版本正在发布，导致服务耗时异常增加。总体思路是采集

系统异常时的相关信息，构建异常事件的知识图谱，然后应用推导模型从图中提取信息，最后使用规则引擎推导出根本原因。

　　结语

　　回顾一年多的系统建设过程，我们初步梳理了根因分析的数据基础，并根据这些数据确定了根因分析的方法，即以业务流日志为起点指向整合和整合来自各个纬度的数据分析；选择专家系统的解决方案，快速构建根本原因分析系统；还应用图数据库和知识图谱技术解决数据透明和根源推导问题。根因分析系统未来将持续优化。历史上异常事件的知识图谱也是我们的宝贵财富。它记录了当时所有异常事件的全貌，

　　未来，我们将继续推出更详细、更深入的智能根因分析分享。欢迎继续关注。

　　（本文作者为微众银行智能运维系统核心开发者叶金赞）

　　解决方案:网上新闻资源自动采集系统

　　42 毕业设计[论文]提案报告资料 回顾国*敏*感*词*更广。于是，第五媒体声明衍生出来，也带动了相当可观的周边产业的发展。这些优势的表现也需要强大的技术平台和相当数量的人员支持，本文将通过引入资源采集

系统，为构建这样一个低成本的信息共享平台提供建议。新闻采集系统的现状，动态网络技术的出现，彻底改变了传统的互联网模式。它使网站站长更容易更新网站的信息。同时，也使网络的应用更加丰富。由动态 Web 技术支持的应用程序如雨后春笋般涌现。在此期间，新闻采集系统也开始发展起来。从最初的ASP版本到现在的多语言版本，虽然架构一次次更新，功能也越来越完善，当然，系统的设计目标从未改变，实现了资源的自动采集，降低了人工输入的成本。如今，新闻采集系统技术已经非常成熟。市场上的需求量也非常大。进入百度“新闻采集系统”可以搜索近39.3万条信息，可见此应用的广度。特别是一些新兴网站，主要以广告牟利为目的，如果使用新闻采集系统，可以让站长不用担心如何更新外观，一旦建立起来，几乎可以“一劳永逸”。

　　该项目的背景是word42通常有自己的新闻频道或新闻专业或大型门户网站的专门编辑人员，这往往需要很高的成本。新闻采集系统[移动应用版]用于在资源相对稀缺的情况下使用该程序进行远程捕获。无需人工干预即可实现自动采集

和资源共享。一方面可以保证信息更新、更有效，另一方面可以提高工作效率，减轻编辑负担。为企业提供可靠的信息来源，降低可观的成本。总的来说，目前的新闻采集系统已经比较成熟，主流的新闻采集系统基本可以实现以下功能：自动抓取目标进度信息，支持HTML页面各种数据的采集，如文本信息、URL、数字、日期、图片等。数据直接进入数据库而不是文件，因此程序或桌面程序之间没有耦合，它使用数据来支持数据库表结构是完全定制的，充分利用了现有系统10。保证信息的完整性和准确性，绝不有乱码 11.支持各种主流数据库，如MSSQL，Access，MySQL，Oracle，DB2，Sybase 上面讨论的新闻采集系统与本文讨论的略有不同。最主要的是我们的目标有些不同。传统的新闻采集系统就是基于。获取难度略高于WAP。因为页面容量比较复杂，比较丰富，最重要的是它没有类似XML的约束，网页源文件的格式可能会因为编写者的疏忽而出现很多错误，这会导致我们在抓取时可能会遇到很多解析问题， 比如丢失符号、无法匹配等等，对于采集

系统来说最重要的是能够匹配你想要抓取的内容，如果不能解析网页的源代码就无法建立完整的目录树，也就是结构不完整，这可能会导致我们在采集

特定卷时出现偏差或获取失败。

　　因此，作者

　　的采集

程序不仅需要采集

，而且还要求作者能够按照W3C规则编写页面。但是目前的情况是，往往用户的浏览器可以排除大量的错误，所以会给真正的开发者一个错误的信号，说他们的页面没问题，这时候我建议把页面提交给W3C检查工具进行进度检测，这是一个比较繁琐的步骤。WAP的优势在这个时候就显现出来了，因为它严格遵守了这些规则，如果有一个标签无法匹配或无法识别，就会报错，这对测试人员来说无疑是个好消息，这将大大降低测试word42的成本，加快项目的建设。对于采集

开发者来说，这也绝对是个好消息，我们在编写规则时不必过多考虑惊喜，这也为我们的项目打下了一定的基础。当然，随着手机上网的普及和3G网络的建成，越来越多的人开始习惯于用手机获取信息，这已经成为一种趋势，或许未来电脑也会被手机取代，无线网络最终会取代现有的有线线路。我们把握了这种形式，会基于移动浏览器平台开发浏览能力，我们采集的对象也是WAP，可以将内容无缝嵌入到现有栏目中，真正实现抓取和使用。新闻采集系统的运行过程是根据任务列表不断读取目标站点并采集

所需信息的过程。

　　在阅读新闻时，需要保持连接，需要分析各种网络连接情况，系统的维护人员需要为专用页面定制一套规则，解析每个需要的信息部分，这套规则必须符合一定的规定。我们将为任务制定一些规则： TextEndMark：完成的word42系统处理过程，用于标记文章内容 图片采集 图片采集与新闻采集不同，虽然在规则上相似，在整个抓取过程中操作接近相同，但格式更复杂。文字主要是编码，而图片要考虑压缩和格式问题，我们暂时考虑采集

JPG和GIF两种格式，因为这两种是手机上最常用的。在 Web 上爬网并在本地下载的图像需要一致的格式。由于 JPG 和 GIF 具有不同的压缩编码算法，因此需要单独处理。任务配置模块 任务的配置是整个系统中最重要的部分，新闻采集系统正常运行的第一个前提就是需要配置每个采集任务的进度。任务配置包括与页面规范定义相匹配的目标地址，并努力将用户的文本定义转换为更严格的表达式，以确保采集

容量的正确性。采集

功能模块的过程主要是分析资源和参与我们数据库的过程。采集

过程应充分考虑资源的正确性和完整性以及采集

过程的稳定性。确保资源编码正确且流程透明。

　　资源检索模块资源采集是我们的最终目标，我们需要实现对采集到的资源进度的搜索、查询和编辑操作，可以对资源的进度进行过滤和控制。统计模块可以根据任务分类实时监控采集进度和处理进度，让用户随时掌握采集资源的状态，如果发生事故，可以立即通知并采取一定的措施进行恢复。Word 系统配置程序的操作和维护需要一系列配置，这些配置对于整个系统至关重要。配置人员需要一定的计算机技术基础，最终程序能否掌握自己想要获得的信息，离不开系统的配置和一系列的测试。考虑到系统可能在不同的数据库环境下使用，我们选择了数据库框架，这将极大地方便系统的二次开发，替换数据库等。该系统使用 ibatis 作为数据库访问框架。这也是一个相对于 Hibernate 轻量级的开源框架，我们在这里使用它的原因是它具有比 Hibernate 更小的操作粒度，以提高我们数据库的存储效率。我们的系统是任务驱动的，每个获取目标都是一个任务。维护者需要做的是任务的维护和规划，类似于行程的调度，才能在我们的任务调度框架中实现任务控制。日志系统由于网络的不确定性非常多，往往会导致程序超时等情况，我们需要一个强大的日志系统来记录这些问题，维护人员还需要对日志进行分析，以确定错误的原因。统计

　　系统采集

的资源必须有健全的统计机制来记录当天或历史的记录。如果需要制定考绩制度，统计制度将提供完整的可维护性文件。通过容量检索模块，可以实时获取当前存储的信息，允许管理员删除或修改容器的进度，其功能类似于新闻管理系统的后台，可以有效控制捕获信息的进度。42 新闻采集系统架构图 08/12/11-09/01/1210。主题选择和熟悉主题背景 11.12.09/01/13-09/02/19 13.英文翻译，学习相关的技术学习，提案14。15.09/02/20-09/02/27 16.提议17.18.09/02/28-09/03/15 19.完成总体设计 20.21.09/03/16-09/04/03 22.完成程序编码 23.24.09/04/04-09/04/10 25.中期审查 26.27.09/04/11-09/05/01 28.完成相关文件 29.30.09/05/02-09/05/22 31.写毕业论文初稿 32.33.09/05/23-09/05/29 34.论文修订 35.10 36.09/05/30-09/06/05 37.辩论 38.主要参考文献：Java 网络编程 [第 3 版]—O'Reilly Java 系列 JAVA 面向对象编程 Java 编程思想 [4 有效Java：Java 并发编程实践 2007-6-110.JAVA 多线程设计模式 2005-4-1字 42 VI.导师点评：围绕“网络新闻资源自动采集系统”这一主题，学生在撰写论文提案报告时，通过有针对性的阅读、分析和理解，从根本上明确了毕业设计的总体需求和具体任务，并从根本上提出了系统设计思路和预期目标。

　　同意该提议。导师签名：2009年毕业设计不适宜本专业;字 其他部厅厅所长签名： 八、提案组评审意见：提案组组长签名：42 IX.高校领导[辩论委员会]审核意见：1、通过;2、改进后合格;3.高校领导签名失败【辩论委员会】：电子科技大学毕业设计[论文]文献综述 新闻采集系统技术与研究 新闻采集系统以其高效率和低成本一直受到众多站长的青睐，尤其是在这个信息爆炸的时代，能够掌握信息的同时可以先掌握主动， 虽然这是一个流行的应用，但是互联网上对于这方面的介绍比较少，没有相应的规定，导致这个领域没有系统的知识结构和完整的文献资源。其实，新闻采集的主要工作不仅在采集过程中，而且在对全过程和任务的管理上。涉及的主要技术是多线程、网络编程、数据库编程和诸如此表达式的应用程序。多线程编程的能力是程序员能力的重要指标。特别是在计算机硬件配置越来越好的时候，系统的性能需要程序员充分调动和利用系统的资源，正确使用多核编程和多线程编程技术，无疑可以提高程序的执行效率，提供更好的用户体验。[1] 自互联网诞生以来，这项革命性技术彻底改变了世界，无法想象没有互联网的世界会是什么样子。

　　作为载体，网络承载着各种各样的应用。而这一切离不开网络编程，它的普及也是必然的，尤其是“云计算”概念的提出，未来所有的应用都离不开网络。JAVA语言本身就是为WEB而生的，它非常适合网络编程，强大的根类库可以让开发者轻松开发WEB应用。在新闻采集系统中，网络编程也是一个重要的部分，我们需要通过网络采集

新闻资源，这无非是对JAVA网络编程稳定性和效率的考验。[2] Word 10 42 正如这种表达可以追溯到十九世纪四十年代一样，它出现在理论计算机科学和自动控制理论以及形式语言理论中。那么这个表达是什么？维基百科将其定义如下：在计算机科学中，用于描述或匹配符合某个句子的一系列字符串的单个字符串。表达式，作为此表达式，通常被称为匹配符合特定句子规则的一系列字符的模式。在许多文本编辑器或其他工具中，此表达式通常用于检索和/或替换符合模式的文本。许多编程语言都支持使用字符串操作，例如此表达式。从这里我们大概可以理解，就像这个表达式用于处理字符串一样，它非常方便且被广泛使用。[3] 这听起来可能有些复杂和深奥，但在我们的日常生活和学习中使用它是非常随意的需要。

　　例如，在编写处理字符串的程序或网页时，通常需要查找符合某些复杂规则的字符串，并且需要此表达式。就像我们要开发一个新闻采集系统一样，第一步是解析目标页面，标准化文档，并根据我们的规则从中提取有用的数据。在此过程中，目标页面通常很复杂且不可预测。这要求我们能够编写一个可以应用于变体的公式，因为这个表达式正确地提取了我们需要的数据，没有这些数据，我们肯定很难实现。另外，举一个简单的例子。也许您正在 WINDOWS 或 DOS 下查找文件，这里您提到了通配符的概念，通常是“？〞和“*”。问号通常用于表示一个长度的字符，而星号用于匹配任意长度的字符串。与通配符类似，此表达式用于匹配文本，但它可以更准确地描述您的需求，但当然代价是更复杂。[4] 如果你想正确使用这个表达式来方便和减轻工作负担，你必须对像这个表达式这样的元符号有一个正确的理解，下面列出了一些常用的元符号和相应的解释。“.〞：匹配任何单个字符，关键是它只能匹配单个字符。$：匹配输入字符串的完成位置。“^”：匹配输入字符串的起始位置。“*”：匹配前面的子表达式零次或多次。“

　　

" />

　　+”：与“*”类似，但至少匹配一次。“\”：转义字符，即下一个字符标记为特殊字符或文字字符。“[]〞：匹配括在括号中的任何字符。x|y“：匹配 X 或 Y 中的字符。 ”？“：匹配前面的零个或一个字符。{i，j}：匹配在此表达式之前定义的指定字符数。[5] 正如这个表达式被广泛使用一样，当我们开发一些 WEB 应用程序时，它需要经常使用。例如，如果我们需要对用户提交和输入的数据进行一些验证和调节，那么我们可以在客户端使用 JAVASCRIPT 来限制用户输入的数据进度，这可以带来很多好处。首先，在客户端做出判断可以减轻服务器的压力，可以大大减轻服务器对大并发、高流量的应用系统的带宽和资源。二是保证数据安全，网络本身并不安全，我们需要限制用户输入数据的进度，让用户输入我们需要的格式和数据，否则这样会给程序带来不可预知的字42后果，也会给服务器的安全带来严重的隐患。一般我们会检查用户输入的电子格式的进度，检查是否符合电子格式，这个功能在平常的系统中还是广泛使用的。同样，我们经常使用这样的表达式从 Web 文档中提取元素。

　　在我们的新闻采集系统中，我们需要对页面的进度进行分析和解读，找出我们需要的具体内容，比如文章的标题、作者、内容和附图等，而这些内容需要我们通过这个表达方式来提取，这是它的强项，那就是， 文本的操纵。如果没有这些特征，我们可能需要做出大量的判断，以确保我们找到的数据正是我们需要的，而且通常这种方法不是灵丹妙药，就像这个表达式解决了这个困难一样。另外，我们平时会遇到这个问题，当我们需要导入大量的数据，却发现原创

数据的格式不是我们想要的，一般来说，我们会用这个表达式来解析数据，让它按照我们规定的格式来排列，这是一个完全自动化的过程， 只要我们设计这个表达式，如果是手动实现的，我认为这是一项非常艰巨的任务。[6] 我们在新闻采集系统中使用MYSQL作为数据库，MYSQL是一个小型的关系数据库管理系统，它的主要特点是体积小、速度快、成本低，特别是开源这个特性，在很多中小型为了降低成本而选择MYSQL作为数据库。MYSQL查询也支持作为该表达式，可以为开发人员和用户带来极大的便利和良好的用户体验。特别是在查询数据较为复杂的情况下，先查询数据后通过后台处理的效率一定不能高于数据库中直接筛选的效率，业务和数据访问的功能级别可以更加清晰，耦合性在一定程度上降低。

　　MYSQL的

　　查询语句使用这个表达式的形式作为选择'字符串'正则表达式'，元符号类似于上面提到的一个，如果你有一些开发这个表达式的经验，那么你将能够快速掌握在MYSQL中使用此表达式的技巧。这就是这个表达的方便。一般而言，新闻采集系统的使用很广泛。设计一个强大的新闻采集系统是困难的，特别是考虑到各种各样的情况。同样，你需要掌握各种技术，但如果你掌握了它们，那么使用相同的技术不仅可以采集

新闻，还可以采集

多媒体资源、游戏信息、天气预报......前提是你必须熟悉每个方面的特点和其中的原则，这可以为实际项目添加各种应用。此外，新闻采集系统的效率始终是衡量系统性能的重要指标，在相同的硬件环境下，如果采用多线程处理方式，将为系统带来更好的用户体验。但这需要开发人员精通多线程编程，并实时管理系统中正在运行的线程，以确保它们能够正常工作。文章“线程监视系统多线程Java程序”推荐了一种使用线程监视器来监视当前系统线程使用情况的方法，即使使用恢复或错误处理策略来确保系统在发生错误时正常运行，线程监视器也起着管理作用，这是推荐的方法。

　　相关参考资料： Java 核心技术第二卷：高级功能 2008-12-1字 12 基于套接字的网络编程 2003 网页清理系统 利用静态正则表达式 此表达式及其在Java中的应用 杜冬梅，徐彩鑫，正则表达式Websystem Chang，BM线程监控系统多线程Java程序 SIGPLANNotices 2006 vol.41 （no.5） 邦贵， 郑凡， 刘邦贵， 李正凡 套接字流 中文华东交通大学 卷（期）： 2007 24(5) 10.兴波 性能提升 数据库检索 200724（12） 11.瓦特 2008-10-112.弗里德尔， J.E.F. 2007-7-113.Java网络编程 2005-11-1字 13 42 文献综述评估表 导师对文献综述的评论： 针对“网络新闻资源自动采集系统”，学生在阅读相关技术文献的基础上，对这些技术文献做了适当的理解、分析和总结，完成的文献综述与题目相似， 从根本上满足要求。

　　教师 [签名] 2009 建议成绩 单词 14 42 审查小组或审阅者对

　　文献综述：审稿人组长或审稿人 [签名] 2009年推荐成绩 电子科技大学毕业设计 [论文] 外文文献翻译 字数 15 42 客户端编程 有关文件的信息 本文档是从客户端邮件列表上的讨论演变而来的。虽然它指的是客户端，但此处表示的概念也适用于 ponent、SUN URLConnectiong 或任何其他服务于任何编程语言的通信库。因此，即使您不使用 Java 和 Client，您也会发现它很有用。警告 可以随时重新设计网页。服务器发送不同的文件，浏览器将显示新的文件，用户可以轻松适应并选择正确的文件，因此浏览器通过它发送信息。这特定于来自服务器的新文件。如果应用程序只是模仿浏览器，它将被中止。如果要实现可靠的应用程序，则只能在编辑界面中使用这些已发布的应用程序。例如，要查看您的网络，您必须从网络提供商处获取 POP 或 IMAP 许可证。此许可证是大多数电子客户端应用程序支持的标准协议。如果要使用新标记，请搜索来自提供程序和应用程序的 RSS 源以显示。

　　客户端执行请求，但它不会也不能移动这些请求。由于客户端与客户没有直接联系，并且没有详细说明HTML文件等内容，因此不允许将数据传输到应用程序编程接口有点错误。在服务器的操作中可以容忍一些错误，但它仅限于客户端可以处理的偏差 术语 本节介绍一些必须理解的重要术语。这有助于我们了解此文件中的其余办公室信息由标题和任意实体组成。通常有两种形式的信息，请求和答复。它们的第一行具有不同的形态，但它们都有一个标题部分和一个任意实体部分。由用户将其发送到服务器。它的第一行包括发送请求的原因 - URI，以及服务器必须为用户执行的程序。回复由服务器发送给用户以回复他们的请求。它的第一行收录

一个数据代码，用于明确请求是成功还是失败。说明一系列数据代码，例如 200 表示成功，404 表示未找到。其他底层协议可以解释其余的数据代码。程序是服务器所需的操作。说明一系列操作，最了解的是 GET 和 POST。其他底层协议可以解释其他过程。标题在本地是一对名称值。这里的名称和值是它的容差。

　　标题部分的名称与大小写无关。多个数值可以引用相同的名称。RFC2616 说明了各种标准 16 42 问题，这些问题涉及协议的各个方面。其他描述（如 RFC2617 和 RFC2965）说明了其他标题。一些解释性标题用于一般目的，而其他解释性标题则与请求或答复一起用于个别目的。实体是与信息一起发送的数据。例如，回复可以收录

您作为实体下载的页面或图像，或者请求可以收录

您输入网页的参数。信息实体可以具有任何形式的数据。此模式在标题中本地称为 MIME 类型。会话是从单个源发送到服务器的一系列请求。服务器可以存储会话数据，并且需要告诉发送的请求属于哪个会话。例如，如果您正在搜索网页，服务器将仅从所有搜索结果中返回一个页面。但它会保存其他结果，当您在下一页上单击此结果时，它将帮助您进入此页面。服务器需要从此请求中知道需要更多结果的是您和您的会话，而不是我和我的。那是因为我正在寻找别的东西。Cookie 是服务器跟踪会话的一种更流行的方式。为了响应用户的请求，服务器提供了一个称为cookie的数据。

　　服务器等待用户发送标头中的数据以及同一会话的每个请求。每个会话都有不同的 cookie，因此服务器可以依靠查找 cookie 来识别哪个会话属于哪个会话。如果请求中缺少cookie，则服务器将不会按预期回复您。逐步获取登陆页面 为您的登陆页面创建并执行 GET 请求。只需单击输入到浏览器中的 URL。当您在地址栏中键入 URL 或单击指向另一个网页的链接时，这就是浏览器为您所做的。检查服务器回复的信息： 1. 你打开了你想要的页面吗？响应您的请求的信息必须作为一个实体发送。此实体也称为还原体。你有访问记录吗？Cookie 在标头部分中作为 Set-Cookie 或 Set-Cookie2 发送。登录后，也有可能只有访问记录。如果您的访问未记录在回复中，则必须在连接到cookie设置的位置后执行第二步。如果您无法打开要查找的页面，请检查您申请的 URL 是否正确。如果正确，服务器将使用浏览器侦察系统。您必须将标题部分中的用户正文设置为常用浏览器的参数值，假装您的邀请来自此浏览器。

　　

" />

　　如果您无法获取着陆页，请先获取首页。创建会话时，获取着陆页 创建会话 为页面创建另一个 GET 请求。您可以轻松地再次申请登录页面，或者您知道其URL的任何其他网页。但是，不要尝试获取以提交的网页格式返回的页面。使用那些浏览器中的页面，只需单击一个页面即可成功链接。在这些页面上，当您单击它旁边时，您可以在浏览器的状态栏中看到 URL。Word 17 42 在开发应用程序软件程序时，此步骤非常重要。一旦您知道您的应用程序没有正确创建会话，您就可以将其删除。只有当你不能直接获得登陆页面，并且你必须首先获得主页时，你必须保留它。检查发送到服务器的请求：访问记录是否也随请求一起发送？我们可以启用客户端的电缆登录以查看发送到服务器的内容。您只需要查看请求的标题，而不是正文。访问记录应在称为 Cookie 的标头区域中发送。可能有许多这样的 cookie，其他的可能会被发送。检查来自服务器的回复消息：您是否有其他访问记录？您不应该有其他访问记录。

　　如果您的会话与以前相同，服务器将异常运行，但这不是问题。如果您有新的访问记录，服务器将无法从您的请求中识别会话。通常，当请求不收录

访问记录时，会发生这种情况。但是，服务器还使用其他方法来跟踪会话或检测会话是否已受到威胁。如果未在请求中发送访问记录，则两个中的一个将失败。要么在上一个回复中未检测到 Cookie，要么未选择要随新请求一起发送的 Cookie。客户端会自动解析回复中发送的 Cookie，并将它们放在 Cookie 存储中。客户端使用可配置的 Cookie 结构来确定来自服务器的 Cookie 是否正确。系统预设的结构严格符合RFC2109，但许多服务器并非如此。这是根据 cookie 结构执行的，直到 cookie 被接受并存储在 cookie 内存中。如果 Cookie 已从上一个回复中接受，但仍未随新请求一起发送，请检查客户端是否使用相同的 Cookie 存储目标。如果您使用相同的客户端来执行这两个请求，除非您清楚地知道 cookie 存储目的，否则这将是一个障碍。如果 Cookie 仍未随请求一起发送，请确保您请求的 URL 在此 Cookie 中。

　　Cookie 只会发送到 Cookie 范围内指定的区域和路径。主机“”的 Cookie 不会发送到主机 “”。名为“.”饼干可以发送到上述两个地方。开头没有点的 “” 的 cookie 将不会发送到 “”。这可以通过在 的开头添加点来解决。某些服务器无法检测到在单独的标头块中发送的多个 Cookie。然后建议客户端将 cookie 与单独的标头块放在一起。如果这不起作用，那么麻烦就来了。服务器以其他方式跟踪会话，例如名为 Referer 的标头区域。将此区块联接到上一个请求中的 URL。Word 18 42 如果这不起作用，您应该将应用程序中的请求与服务器生成的相应请求进行比较，此步骤中 POST 请求的说明也适用于 GET 请求。这对于 GET 来说更简单，因为您没有实体部件。解析格式 现在是时候分析网页中 HTML 标记所解释的格式了。HTML 中的格式是一系列名称-值对，称为参数。

　　此处的本地值可以输入到浏览器中。通过分析 HTML 标记，您可以了解需要解释哪些参数才能将它们发送到服务器。在网页页面上查找此表单标记。也许此页面上有很多格式，但这些格式都不允许您键入任何内容。找到要提交的格式，然后查找相关的表单标签。让我们从表单标签的属性开始：方法= 此标签定义用于提交格式的方法。如果是 GET 或未定义的类型，则需要创建 GET 请求。这是通过将查询字符串参数添加到请求正文并将这些参数放入请求正文中以使它们成为请求的一部分来完成的。此方法已在步骤 5 中描述。action= 此标记定义将请求传递到的地址。不要尝试从浏览器的地址块获取此地址。浏览器会自动重定向并仅显示最后一个地址，该地址与此定义的地址完全不同。收录

请求字符串的地址可以定义一些参数。如果是这种情况，请记住这些参数。enctype= 此标记定义正文中的 MIME 类型。两种常见情况是编码 [默认] 和多本地 MIME 类型。请注意，这些术语是非正式的，确切的参数值将在其他地方定义。这个地方的定义只能在 POST 方法中使用。使用 GET 方法时，参数将始终进行 url 编码，但不在实体中。

　　accept-charset= 此标记定义用户允许浏览器输入的数据类型。这里不讨论，但如果你遇到过与字符集相关的问题，你自然会考虑使用什么参数值。除了动作定义的询问参数外，表单参数还可以由 HTML 中 form 和 /form 之间的标记来定义。以下是可以定义参数的标签表。除非在其他位置定义，否则它们可以定义参数的名称。参数值通常需要用户的输入。 定义单行输入区域。在此区域中按 Enter 将返回输入的数据。因此，此参数的值是用户在一行上输入的数据。 定义用户无法修改的参数，直接定义参数值。 Word 19 42 定义了一个可以收录

或省略的参数。通常两个标签的名称是相同的。例如，单选按钮只能有一个选项和一个参数值。对于复选框，您可以有更多选择。对于一个选项，每个选定的复选框将具有相同的名称。 定义提交按钮。只有在激活按钮后，参数才会传递给格式。如果使用其他按钮，或者使用 Enter 键提交参数，则该参数不会成为数据提交部分。如果名称定义也缺失，则不会通过此按钮将任何参数提交到格式。 定义多行输入区域。

　　在只读情况下，此参数值是文本区域和 /textarea 签名之间的容差。定义选择栏或下拉菜单。如果无法显示多个属性，则只能选择一个属性。每个选定项都有一个名称/值对。如果没有 value 属性，则此选项的值介于 option 和 /option 定义图像之间，单击它时，可以提交格式。如果单击此图像提交格式，则会在格式数据中添加两个参数。其名称属性将以“.X“和”.Y".这些参数的值与单击图像上的鼠标指针时的值一致。如果缺少 name 属性，则无法将该参数添加到格式数据中。 定义文件选择文件夹。用户可以选择必须作为格式数据的一部分发送的文件。仅当此编码是多类型标头规范时，才可能执行此操作。与其他参数不同，此文件不仅仅是一个简单的名称-值对。上传文件不适合初学者。 标记用于说明静态 HTML 上的参数。在活动的 HTML 上，使用特殊的 JavaScript，可以在提交格式之前更改参数值。确定要使用的 URL 和格式名称-值对后，应退出用于检索 HTML 材料的程序，重新启动程序，然后在新网页上重复分析。Word 20 42 这两个网页的大局部参数是相同的。

　　但是某些参数（尤其是来自隐藏输入字段的参数）会随着会话甚至每个请求而变化。URL 也是如此，一致的参数可以硬编码到程序中。如果参数更改 [用户输入除外]，则应用程序将以格式请求页面，并在运行时提取这些活动参数。如果幸运的话，你只需要用简单的字符串找到它们。但是，如果您不幸运，则必须使用HTML解析器来解析页面。请注意，服务器上的格式重置可能随时中止应用程序。发生这种情况时，依靠服务器在重置后发回的新格式重新进行分析，并相应地更改应用程序 解析此格式后，创建与生成的浏览器匹配的请求。如果使用 GET，则对于参数，只需将名称-值对添加到字符串中即可。使用开机自检，它更复杂。这取决于服务器与您匹配的浏览器行为的接近程度。例如，servlet 不区分字符串中的参数和实体参数的 URL 编码参数。但是，可能会区分其他服务器端代码。安全方法在匹配浏览器行为方面始终准确。客户端支持编码类型和 URL 编码，以使用新的多类型标头规范。要发出 URL 编码的参数，您必须使用 POST 请求，并直接在其中添加参数。

　　要使用新的多类型标头规范发出参数，您必须在采集

多编码请求中采集

参数并添加 POST 请求。您将在多文件包中找到文件上传支持。请注意，这些技术是互斥的，不能相互连接。使用网络字符串定义的参数可以保存在那里。发送请求。发现服务器答复：获取称为重定向的状态代码 303 或 307。一直按重定向到最后一页并找到此回复。请参阅下面的重定向步骤六。你得到了你要找的页面吗？如果服务器回复您的 POST 请求，则表示存在问题，请尝试加强或减少所需的连续信号交换，或将通信协议移至 /1.0。如果它不起作用...观察您发送的请求 浏览器的请求是否存在显著差异？有许多程序可用于发送浏览器请求。有些已在邮件通知中回复。问题可能是缺少参数或标题字段中存在差异的错误参数。参数由您决定。标题字段的一般规则是您发送与浏览器发送的相同内容。未定义字段的顺序。但是，请务必注意：某些标头字段由客户端控制，无法显式设置。其他标头字段用于指示浏览器性能，但应用程序不指示。在这种情况下，应用程序的请求应该而且必须不同。以下是游戏所需的特殊要求的非详尽列表： 主机由客户端控制。

　　该值通常取自您选取的 URL。可以设置不同的值，虚拟主机。内容类型：单词 21 42内容长度：传输编码：由客户端控制。值通常从请求中获取。连接：通常由客户端控制，解决生存问题。将其放在一边，或将值设置为“关”。 内容编码：用于描述处理压缩答复的能力。除非您已准备好还原，否则请勿进行此设置。按照重新输入说明 服务器在响应 POST 请求时通常会回复 303 或 307 状态代码。这些重新输入指令指示您的应用程序必须重新发送请求才能首先检索 POST 请求的真实结果。客户端可以设置为自动遵循重新输入指令。我们希望确保客户端匹配它，但我们不能阻止你在程序中执行不同的操作。请注意，一行中可能会出现多个重新输入命令。然后，您的程序必须一一遵循重新进入指令，但首先请确保您没有处于无限循环中。如果发现连续出现两个以上的再入指令，则可能存在问题。退出 应用程序可以发送尽可能多的 GET 和 POST 请求，也可以遵循多个重新输入指令。

　　但请记住，有一个会话由服务器跟踪。程序完成后，如果网页提供退出，则需要发送最终退出请求。这是可以丢弃这些会话的通知服务器。如果服务器阻止同一用户标识多次登录，并且您的程序必须重复运行，那么您只能退出该程序。客户端编程入门 关于文档已从讨论演变而来 客户端邮件列表。尽管这里描述的概念同样适用于SUN的URLConnection任何其他munication库任何编程语言。所以你可能会发现有用的即使使用Java Client.Caveat网站可以随时发送不同的文档新内容。用户可以轻松地调整适当的链接，通过服务器的新文档进行浏览器访问。您的应用程序只是简单地模仿中断。Word 22 你想要 SolidApplication，你应该只使用已发布的 API。newmail 您的网络邮件帐户，您应该询问网络邮件提供商 IMAPaccess。标准化协议支持我最EMail的客户端应用程序。你想要新贴纸，从显示他们看RSSfeed。客户端 客户端执行请求，组装它们。由于客户端不做用户，也不解释内容HTML文件，坏数据传递一些容忍服务器行为，偏差客户端可以处理。术语部分介绍您拥有文档的一些重要术语。消息由标头部分可选实体组成。两种消息，请求第一行，两者都可以有标题字段可选实体。从第一行发送的请求包括服务器应执行客户端。从第一行发送的响应包括状态代码告诉成功请求。定义状态代码，如找到 200。基于其他协议可以定义其他状态代码。方法操作从服务器请求。定义最常见的是 GET POST。基于其他协议可以定义其他方法。标头字段名称-值对，其中两个名称标头字段都区分大小写。多个值可以同名。RFC 2616 定义了处理各个方面协议的广泛标头字段。其他规范（如 RFC 2617 RFC2965）定义了其他标头。一些定义的标头通用字 23 42use，其他独占使用请求响应，还有一些仅使用实体。实体数据发送响应可以收录

图像您的请求可以收录

您输入的 Web 表单。消息可以具有任意数据格式，通常指定 MIMEtype 标头字段。来自单源服务器的会话请求可以保留