万维网研究基于垂直搜索技术从网上获取软件安全缺陷信息

　　万维网研究基于垂直搜索技术从网上获取软件安全缺陷信息

　　[摘要]：随着万维网的飞速发展，越来越多的组织，公司等发布有关在万维网上发现的软件安全缺陷的信息。本文研究了基于垂直搜索技术从互联网上获取软件安全缺陷信息的方法，并进一步基于语义标注提取信息，以构建软件安全缺陷知识库。借助于垂直搜索和语义标注技术，实现了一种从万维网获取软件安全缺陷信息的工具。该工具首先设计关键字训练器，以获取软件安全缺陷区域关键词；然后，然后通过获得的区域设计Web过滤器关键词；最后，基于此Web筛选器设计一个垂直搜索采集器，并从World Wide Web缺陷信息中搜索和搜寻软件安全性。它实现了基于网页拓扑和关键字权重过滤算法的网页过滤器，以及结合了最佳搜索策略和广度优先搜索策略的垂直搜索爬虫工具。采集器与网络过滤器结合使用，可以过滤非软件安全域中的网页，并可以自动多线程下载软件安全域网页；设计并实现了一种使用百度搜索引擎获取软件安全缺陷信息的工具；实现了基于网站内容分析算法的领域关键字训练器工具，该工具提供了关键字和网页过滤器的权重；基于GATE工具设计和实现下载网页的语义标注，并使用基于JAXP的语义标注结果分析。该工具使用GATE工具对非结构化Web信息进行语义注释，并使用JAXP技术执行注释结果。分析并提取网页中的安全缺陷信息。该工具可以在万维网上的软件安全性字段中实时有效地搜索和搜寻相关信息，并构造信息，为构建软件安全性缺陷知识库和分析软件安全性漏洞以提供数据奠定基础。支持。