动态网页抓取(科技信息计算机与网络面向垂直搜索引擎的一种动态网页的抓取方法)

　　动态网页抓取(科技信息计算机与网络面向垂直搜索引擎的一种动态网页的抓取方法)

　　科技信息 计算机与网络 一种垂直搜索引擎的动态网页爬取方法 杨曦 罗燕京 钟峰，北京航空航天大学软件工程研究所 垂直搜索引擎网络爬虫的难题。本文提出了一种基于IE内核和DOM的面向垂直搜索引擎的动态网页爬取方法。实验表明，该方法对动态网页和主题网页抓取的平均准确率超过95%，平均召回率超过97%。[关键词]动态网页IE内核DOM提取方式1介绍为了通过一个或几个指定的示例网页进行学习，爬取所有垂直搜索引擎的网页爬虫只爬取与主题相关的网页，对于此类具有相似结构的网页，必须生成提取模式。使用生成提取方式时，在缩小搜索范围的前提下，必须对网页进行更深入的爬取，从所有相似网页中提取动态网页的网页元素信息。. 动态网页在收录的网页总数中所占的比例越来越大。在DH TM L DOM模型的支持下，目前收录待提取信息的网络爬虫一般无法爬取动态网页。设置网页抓取问题，只抓取和主题相关的动态网页，本文提到。必须对网页进行更深入的爬取，才能从所有相似网页中提取动态网页的网页元素信息。. 动态网页在收录的网页总数中所占的比例越来越大。在DH TM L DOM模型的支持下，目前收录待提取信息的网络爬虫一般无法爬取动态网页。设置网页抓取问题，只抓取和主题相关的动态网页，本文提到。必须对网页进行更深入的爬取，才能从所有相似网页中提取动态网页的网页元素信息。. 动态网页在收录的网页总数中所占的比例越来越大。在DH TM L DOM模型的支持下，目前收录待提取信息的网络爬虫一般无法爬取动态网页。设置网页抓取问题，只抓取和主题相关的动态网页，本文提到。

　　然后在此集合中查找提取的信息所在的页面元素。为了找到一种面向垂直搜索引擎的动态网页爬取方法，基于IE提取信息的具体元素，我们可以识别网页元素的属性，如()[1]内核和对象模型，使用 , 或 web pages 元素的其他属性，如 等来定位。In tern et Explorer DH TM LDH TM L n am e idva lu eh ref 对象模型在提取网页中收录的与获取动态网页相关的网页元素时，无法区分网页元素，最终可以得到网页元素提取。使用代表网页的元信息，每个网页元素都在 IE 内核的 MSHTML 组件中标识，对应于元素标签内的文本内容。通过相应界面的操作，可以自动填写网页的表格和相关链接。在少量用户参与的情况下，利用项目开发的抽取模式辅助抽取模式的生成。在浏览过程中，提取方式被一一抓取，需要执行客户端脚本代码或工具*敏*感*词*生成提取方式，然后将提取方式作为抓取配置信息。动态生成与后端数据库交互的主题网页。信息输入到网络爬虫，网络爬虫()只定位，

　　然后，通过定位到的网页元素对应的界面，对元素进行操作形成元素。每个 COM 组件位于架构的不同层，分别完成不同的任务，执行自动填表和自动点击功能，并触发 IE 内核组件的集成。功能，参考文献[1]给出了IE架构。其中，WebB row ser组WebB row ser的网络爬虫执行客户端脚本代码并向位于底层的服务器、组件、组件发送下载相应主题网页的请求，服务器响应请求，并返回动态生成的核心 M SH TM LU RLM onW in etIE，在这个方法中，这些 IE 内核用于模拟用户查找和点击网页给爬虫，从而最终抓取到对应的主链接或提取方式确定的链接。按钮等动作触发浏览器下载网页。网页可以命名。M SH TM L 阅读和显示 HTML 网页。3 实验验证在MSH TM L组件中定义了DOM[2]（Docum en t Object为了方便评估预先设置了一些具有层次结构的垂直站）（）模型l，它封装了HTML中的所有元素语言及其属性，每个点位置 网站 ，从网页提供的查询条目中抓取动态网页。按钮等动作触发浏览器下载网页。网页可以命名。M SH TM L 阅读和显示 HTML 网页。3 实验验证在MSH TM L组件中定义了DOM[2]（Docum en t Object为了方便评估预先设置了一些具有层次结构的垂直站）（）模型l，它封装了HTML中的所有元素语言及其属性，每个点位置 网站 ，从网页提供的查询条目中抓取动态网页。按钮等动作触发浏览器下载网页。网页可以命名。M SH TM L 阅读和显示 HTML 网页。3 实验验证在MSH TM L组件中定义了DOM[2]（Docum en t Object为了方便评估预先设置了一些具有层次结构的垂直站）（）模型l，它封装了HTML中的所有元素语言及其属性，每个点位置 网站 ，从网页提供的查询条目中抓取动态网页。

　　爬行DOM模型中的元素都有对应的对象和接口。可取深度为4，最大爬取5500页。使用本文提出的基于IE的网页抓取方法（通过操作这些接口来访问指定网页中的所有元素。核心并结合使用辅助生成工具进行精确的网页抓取方法） < @2. 2 模拟浏览操作获取动态网页=采集，目标页面总数和总抓取次数达到95%以上，比目标好很多（动态页面需要在生成客户端之前执行a sp , p hp , j sp , net 等程序 大部分系统使用的分类器方法，使用本文方法的召回率。网页的网页代码。静态页面的URL直接以HTML超链接的形式嵌入=采集目标页面总数达到97%左右，分为客户端网页的HTML文件。已知的网络爬虫一般只能使用大约 70% 的类方法。[3] 很容易爬到对应的页面。4 结论 对网页结构和HTML语言的仔细研究表明，在垂直搜索引擎网页抓取的关键技术——动态网页中，动态网页的获取方式主要有两种：深入研究，提出了一种新方法。该方法使用1)提供的点击界面，以按钮、图片等形式，网页元素背面对应IE内核的事件触发机制和对DOM的支持。执行脚本代码动态生成URL；填写表格并模拟用户鼠标点击实现自动浏览功能，然后抓取动态2)查询界面。用户填写表单并提交查询到服务器后，服务器返回网页。

<p>实验表明，该方法可用于构建辅助生成工具*敏*感*词*生成和爬取动态生成的查询结果页面。在配置信息的基础上，使用基于IE内核的主题网页抓取方式，无论哪种方式，从浏览器用户的角度来看，是填写表单还是有效抓取动态网页。因此，只要找到需要填写的表单元素以获取动态页面或指定网页上需要点击的按钮、图标等元素，参考文献再操作相关元素，模拟用户对浏览器的响应。各种填表或[1]在tern et exp lorer dev lopm en t，M SDN dev lopm en t点击操作，实现自动浏览，最后将动态页面下载到本地并抓取[]。:.