一种高效地生成网页信息抽取规则的方式及系统技术方案

　　一种高效地生成网页信息抽取规则的方式及系统技术方案

　　本发明专利技术公开了一种高效地生成网页信息抽取规则的方式及系统，具体包括以下步骤：S1、页面结构手动辨识以及Html结构与Json结构的判断：首先通过网页信息采集技术获取该网页的源码，分析其结构是通用的Html结构还是Json结构，Html结构与Json结构的判断是通过Html标签来判定Html结构，通过开源Json解析器解析Json结构，考虑到手动解析可能存在错判，该步骤支持人工纠错；该高效地生成网页信息抽取规则的方式及系统，可以克服纯人工配置抽取规则的低效问题，避免纯自动化抽取的精准度增长的问题，满足了企业级系统应用对精度及工作效率的要求，在不影响抽取精度的前提下，又增强了自动化程度，大大提升了网页信息抽取工作的效率以及实用性。

　　An efficient method and system for generating web information extraction rules

　　全部详尽技术资料下载

　　【技术实现步骤摘要】

　　一种高效地生成网页信息抽取规则的方式及系统

　　本专利技术涉及计算机网页采集

　　，具体为一种高效地生成网页信息抽取规则的方式及系统。

　　技术介绍

　　网页是构成网站的基本元素，是承载各类网站应用的平台，通俗地说，网站就是由网页组成的，如果只有域名和虚拟主机而没有制做任何网页的话，使用者将难以访问网站，也难以通过人机会话来实现其使用意图。网页是一个收录HTML标签的纯文本文件，它可以储存在世界某个角落的某一台计算机中，是万维网中的一“页”，是超文本标记语言格式，网页一般用图象档来提供图画，文字与图片是构成一个网页的两个最基本的元素，可以简单地理解为：文字就是网页的内容，图片就是网页的美观，除此之外，网页的元素还包括*敏*感*词*、音乐、程序等，网页须要通过网页浏览器来完*敏*感*词*与计算机的信息交互。传统的生成网页信息抽取规则的技术方案主要有两种：第一种方案是由技术人员通过对网页结构的观察，使用专用的计算机语言或软件工具，自行编撰、生成抽取规则。比较常见的专用计算机语言有：正则表达式，比较常见的软件工具有：xpath和css选择器。采用这些技术方案所才能达到的疗效，很大程度上依赖于编撰规则的技术人员的专业水平，即：对网页结构的理解程度以及对正则表达式、xpath和css选择器等技术的把握程度。不同网站的网页结构不同，不同技术人员的专业度也不相同，导致该技术方案受主观诱因影响成份较多，工作效率和质量误差较大，不能有效地产生技术成果；第二种方案是技术人员通过软件工具，将网页具象成文档结构树(DOM-Tree)的方式，结合概率统计学知识，计算文档结构树(DOM-Tree)中所有节点的相像机率，得到符合文本密度特点的文档结构树(DOM-Tree)节点，采用这些基于机率模型生成网页信息抽取规则的方案，所形成的技术成果不能否满足抽取精度的要求。在企业级的系统应用中，以单“日”为级别的网页采集数量一般为在万、十万以上。上述两种技术方案在企业级的系统应用中均存在致命缺陷，第一种方案的效率与质量无法保证，第二种方案的精度无法保证。在此技术背景下，急需专利技术一种高效地生成网页信息抽取规则的方式及系统，来同时满足效率与精度的要求，本专利技术应运而生。

　　技术实现思路

　　(一)解决的技术问题针对现有技术的不足，本专利技术提供了一种高效地生成网页信息抽取规则的方式及系统，解决了纯人工生成网页信息抽取规则的低效以及纯自动化生成网页信息抽取规则的精度无法保证的问题。(二)技术方案为实现以上目的，本专利技术通过以下技术方案给以实现：一种高效地生成网页信息抽取规则的方式及系统，具体包括以下步骤：S1、页面结构手动辨识以及Html结构与Json结构的判断：首先通过网页信息采集技术获取该网页的源码，分析其结构是通用的Html结构还是Json结构，Html结构与Json结构的判断是通过Html标签来判定Html结构，通过开源Json解析器解析Json结构，考虑到手动解析可能存在错判，该步骤支持人工纠错；S2、列表类型页面与正文类型页面的判断：由S1中得出该页面结构若是Html结构，还需判断该页面是列表类型页面或正文类型页面，将Html结构网页转化成Dom树结构，自动解析Dom树中的叶子节点，若存在标签，则觉得该网页为列表类型页面，否则该页面为正文类型页面，考虑到手动解析可能存在错判，该步骤支持人工纠错；S3、Json抽取方案：由S1中得出该页面结构若是Json结构，系统将手动解析Json网页结构，并可视化呈现在页面中，用户只需点击页面中的数组信息，系统即可按照用户的点击生成相应的抽取规则，考虑到本方案可能存在错判，该步骤支持人工纠错；S4、Jsoup抽取方案：由S2中得出该页面结构若是列表类型页面，系统将手动解析列表类型网页结构，将其解析成Dom树结构，并可视化呈现在页面中，用户只需点击页面中任意数组信息，系统即可按照用户的点击生成相应的抽取规则，并高亮该数组与其相关数组，考虑到本方案可能存在错判，该步骤支持人工纠错；S5、正文手动抽取方案：由S2中得出该页面结构若是正文类型页面，系统将手动解析正文类型网页结构，将其解析成Dom树结构，并以文本密度最大的节点作为正文，考虑到本方案可能存在错判，该步骤支持人工纠错；S6、正则表达式抽取方案：是S3、S4和S5的人工纠错方式之一，当S3、S4和S5这三种抽取方案均未能满足抽取精度的要求时，可以使用本方案。

　　优选的，所述S4中的Jsoup抽取方案是一种*敏*感*词*化地、可视化地抽取规则生成方案，专门针对列表类型网页的抽取规则生成而设计。优选的，所述S3中的Json抽取方案是一种*敏*感*词*化地、可视化地抽取规则生成方案，专门针对Json类型网页的抽取规则生成而设计。优选的，所述S5中的正文手动抽取方案是一种基于对文本密度进行机率统计的抽取规则生成方案，专门针对正文类型网页而设计。优选的，所述S5中的文本密度是一种表示正文节点的特点，其算法为Dom节点中纯文本字符串宽度或该节点的字符串宽度。优选的，所述S6中的正则表达式抽取方案是为了提升抽取精度，进行人工纠错，并当S3、S4和S5这三种抽取方案均未能满足精度要求而设计。(三)有益疗效本专利技术提供了一种高效地生成网页信息抽取规则的方式及系统。具备以下有益疗效：该高效地生成网页信息抽取规则的方式及系统，通过S1、页面结构手动辨识以及Html结构与Json结构的判断：首先通过网页信息采集技术获取该网页的源码，分析其结构是通用的Html结构还是Json结构，Html结构与Json结构的判断是通过Html标签来判定Html结构，通过开源Json解析器解析Json结构，考虑到手动解析可能存在错判，该步骤支持人工纠错；S2、列表类型页面与正文类型页面的判断：由S1中得出该页面结构若是Html结构，还需判断该页面是列表类型页面或正文类型页面，将Html结构网页转化成Dom树结构，自动解析Dom树中的叶子节点，若存在标签，则觉得该网页为列表类型页面，否则该页面为正文类型页面，考虑到手动解析可能存在错判，该步骤支持人工纠错；S3、Json抽取方案：由S1中得出该页面结构若是Json结构，系统将手动解析Json网页结构，并可视化呈现在页面中，用户只需点击页面中的数组信息，系统即可按照用户的点击生成相应的抽取规则，考虑到本方案可能存在错判，该步骤支持人工纠错；S4、Jsoup抽取方案：由S2中得出该页面结构若是列表类型页面，系统将手动解析列表类型网页结构，将其解析成Dom树结构，并可视化呈现在页面中，用户只需点击页面中任意数组信息，系统即可按照用户的点击生成相应的抽取规则，并高亮该数组与其相关数组，考虑到本方案可能存在错判，该步骤支持人工纠错；S5、正文手动抽取方案：由S2中得出该页面结构若是正文类型页面，系统将手动解析正文类型网页结构，将其解析成Dom树结构，并以文本密度最大的节点作为正文，考虑到本方案可能存在错判，该步骤支持人工纠错；S6、正则表达式抽取方案：是S3、S4和

　　【技术保护点】

　　1.一种高效地生成网页信息抽取规则的方式及系统，其特点在于：具体包括以下步骤：/nS1、页面结构手动辨识以及Html结构与Json结构的判断：首先通过网页信息采集技术获取该网页的源码，分析其结构是通用的Html结构还是Json结构，Html结构与Json结构的判断是通过Html标签来判定Html结构，通过开源Json解析器解析Json结构，考虑到手动解析可能存在错判，该步骤支持人工纠错；/nS2、列表类型页面与正文类型页面的判断：由S1中得出该页面结构若是Html结构，还需判断该页面是列表类型页面或正文类型页面，将Html结构网页转化成Dom树结构，自动解析Dom树中的叶子节点，若存在标签，则觉得该网页为列表类型页面，否则该页面为正文类型页面，考虑到手动解析可能存在错判，该步骤支持人工纠错；/nS3、Json抽取方案：由S1中得出该页面结构若是Json结构，系统将手动解析Json网页结构，并可视化呈现在页面中，用户只需点击页面中的数组信息，系统即可按照用户的点击生成相应的抽取规则，考虑到本方案可能存在错判，该步骤支持人工纠错；/nS4、Jsoup抽取方案：由S2中得出该页面结构若是列表类型页面，系统将手动解析列表类型网页结构，将其解析成Dom树结构，并可视化呈现在页面中，用户只需点击页面中任意数组信息，系统即可按照用户的点击生成相应的抽取规则，并高亮该数组与其相关数组，考虑到本方案可能存在错判，该步骤支持人工纠错；/nS5、正文手动抽取方案：由S2中得出该页面结构若是正文类型页面，系统将手动解析正文类型网页结构，将其解析成Dom树结构，并以文本密度最大的节点作为正文，考虑到本方案可能存在错判，该步骤支持人工纠错；/nS6、正则表达式抽取方案：是S3、S4和S5的人工纠错方式之一，当S3、S4和S5这三种抽取方案均未能满足抽取精度的要求时，可以使用本方案。/n

　　【技术特点摘要】

　　1.一种高效地生成网页信息抽取规则的方式及系统，其特点在于：具体包括以下步骤：

　　S1、页面结构手动辨识以及Html结构与Json结构的判断：首先通过网页信息采集技术获取该网页的源码，分析其结构是通用的Html结构还是Json结构，Html结构与Json结构的判断是通过Html标签来判定Html结构，通过开源Json解析器解析Json结构，考虑到手动解析可能存在错判，该步骤支持人工纠错；

　　S2、列表类型页面与正文类型页面的判断：由S1中得出该页面结构若是Html结构，还需判断该页面是列表类型页面或正文类型页面，将Html结构网页转化成Dom树结构，自动解析Dom树中的叶子节点，若存在标签，则觉得该网页为列表类型页面，否则该页面为正文类型页面，考虑到手动解析可能存在错判，该步骤支持人工纠错；

　　S3、Json抽取方案：由S1中得出该页面结构若是Json结构，系统将手动解析Json网页结构，并可视化呈现在页面中，用户只需点击页面中的数组信息，系统即可按照用户的点击生成相应的抽取规则，考虑到本方案可能存在错判，该步骤支持人工纠错；

　　S4、Jsoup抽取方案：由S2中得出该页面结构若是列表类型页面，系统将手动解析列表类型网页结构，将其解析成Dom树结构，并可视化呈现在页面中，用户只需点击页面中任意数组信息，系统即可按照用户的点击生成相应的抽取规则，并高亮该数组与其相关数组，考虑到本方案可能存在错判，该步骤支持人工纠错；

　　S5、正文手动抽取方案：由S2中得出该页面结构若是正文类型页面，系统将手动解析正...

　　【专利技术属性】

　　技术研制人员：黄国舜，吴蓟晔，

　　申请(专利权)人：上海嘉道信息技术*敏*感*词*，

　　类型：发明

　　国别省市：上海;31

　　全部详尽技术资料下载 我是这个专利的主人