网页爬虫抓取百度图片( 深层网页垂直爬虫的运行流程及解决方案(组图))

　　网页爬虫抓取百度图片(

深层网页垂直爬虫的运行流程及解决方案(组图))

　　2019 年即将到来。福州佳艺网昨天看到的消息。马蜂窝的消息发布后，体现了网络爬虫技术的强大。爬虫不等于采集，爬虫可以分析很多大数据的内容，今天颜疯子说说，现在越来越多的爬虫技术通用爬虫已经发展多年，技术比较成熟，但是只有 采集 才有统一的资源定位符 (URL) Surface Web。随着Web技术的飞速发展，越来越多的网页将其数据与业务物理分离，只提供受限的数据访问接口，使得具有商业价值的数据隐藏在深网（Deep Web）背后的数据库中目前，很多爬虫研究者都在尝试设计一个通用的爬虫，可以采集所有的深度网页数据。由于不同深度网页数据的加载方式不同，这类深度网页通用爬虫只能采集有限的深度网页。数据。为了获取特定主题内容或特定领域的深度网页数据，需要定制开发专用的深度网页垂直爬虫。

　　1 深网垂直爬虫的工作原理

　　深度网页垂直爬虫是一种根据深度网页的垂直结构自动提取定制化数据的程序。它通过采集深层网页的数据块分析用户所需的数据实体。

　　深度网页垂直爬虫以查询界面或网站导航页面为入口，结合相应的操作策略，通过网页脚本、异步等动态网页技术加载完整的深度网页请求、交互操作或页面呈现。定位提取网页中收录的数据块，分析数据实体，评估采集获取的数据是否完整，如果不完整，重复该过程，直到数据采集完整，结束爬虫程序的运行。其运行过程如图1所示。在此过程中，可以根据数据实体的分析结果优化爬虫的运行策略，从而提供反馈并指导后续工作。

　　深网垂直爬虫的运行需要解决以下三个关键技术：

　　(1)如何加载一个完整的深层网页；

　　(2)如何定位和提取网页数据块；

　　(3)如何分析数据实体。

　　深度网页的完整加载决定了数据的完整性采集，也是深度网页垂直爬虫定位、网页数据块提取和数据实体分析的基础。网页数据块的定位和提取是爬虫采集数据的关键步骤。分析数据实体的方法取决于提取的数据块的结构和特征。整个深网垂直爬虫的运行策略就是建立在这三项关键技术之上的。下面介绍深度网络垂直爬虫的关键技术及其爬取策略。

　　2 深度网络垂直爬虫的关键技术2.1 动态网页的加载

　　通过超文本传输​​协议（HTTP），深网垂直爬虫只能从网址中加载深网页面的静态内容。它需要结合交互操作、网页脚本、异步请求或页面渲染等动态网页技术来传输深层网页。内容已满。

　　交互式操作是用户对网页元素执行的操作，可以加载深层网页的动态内容。常见的交互操作包括点击按钮或超链接、输入文本框和提交表单、滑动页面或元素等。网页脚本是一种解释程序，旨在提高Web系统的响应速度。它具有跨平台执行的特点。常用于数据校验、多媒体加载与播放、网页元素的事件处理等操作。异步请求是一种多线程处理机制，旨在提高网页交互的流畅性。在实际应用中，它还具有隐藏数据请求接口和保护重要数据的功能。由于网页的页面渲染离不开浏览器程序的支持，因此逐渐成为一种有效的反爬虫技术。深度网络垂直爬虫通常使用集成的浏览器内核来解决网页渲染的局限性。常见的浏览器内核包括 Mozilla Gecko 内核、IE 内核和开源内核。

　　2.2 数据块的定位和提取

　　深层网页可以看作是一个网络数据库的视图。由于网页设计风格的不同，网页上的数据已经失去了存储在数据库中时的数据结构。数据实体被拆分组合成许多数据块，分布在一个或多个深层网页中。 Deep Web 垂直爬虫需要使用基于 DOM 树、页面定位语言或 CSS 选择器的工具来定位深层网页上的数据块，并通过程序自动化或*敏*感*词*化的方式提取这些数据块。

　　2.3 数据实体分析

　　用户不同的数据需求决定了不同的数据来源。对于某个数据实体，有的只需要特定网页下的采集数据块，有的需要采集来自同一领域不同深度网页的多个数据块。这样一来，多个网页下采集的多个数据块中收录的信息是片面的，相互冗余。需要对数据块进行分析以提取完整的数据实体。涉及的分析算法包括Page分类、数据源采样、数据块标注、数据块相似度度量和数据源集成。

　　2.3.1页分类

　　深网垂直爬虫在运行过程中，对查询界面页、导航页、索引页、数据页等不同类型的网页进行了不同的处理，因此需要对这些页面进行分类。提取深网标签名称、文本值和默认值作为语义特征，通过决策树分类算法生成数据源的分类规则树。采用*敏*感*词*.5决策树和朴素贝叶斯相结合的分类方法，结合反馈机制，可以有效判断爬虫提取的网页信息是否与主题相关。

　　2.3.2 数据源采样

　　同一领域不同深度网络数据源的质量会直接影响深度网络垂直爬虫获取数据实体的效率，这就需要对多个数据源进行质量评估。由于数据源中收录的数据量很大，很难对所有数据进行评估。在实际操作中，通常使用数据源采样算法来减少数据评估的计算量。常用的数据源采样算法可以分为挖掘采样算法和随机采样算法。挖掘采样算法是通过Web系统的日志模块挖掘关键词与数据属性的相关性，从日志模块中提取Web系统的高频关键词，完成对Web系统的采样。数据源。由于爬虫通常无法访问日志模块，因此这种采样算法实用性较低。随机抽样算法是根据文本频率、集体词频、平均词频等统计数据对数据源进行随机抽样，可以有效地描述数据库的内容。

　　2.3.3 数据块标记

　　对于同一个数据实体，深网垂直爬虫从同一个领域的不同深网页面到达的数据块中有多种表述。进一步分析数据块。常用的数据标注方法有基于页面信息的数据标注算法、基于领域知识的数据标注算法、基于接口模式的数据标注算法、基于结果模式的数据标注算法。基于页面信息的数据标注算法取决于数据块所在网页的标签结构。由于深度网页设计风格的多样化，网页标签的结构也多样化，因此标注算法的适用性较低。基于领域知识的数据标注算法利用机器学习算法，通过构建相关领域的对象知识模型，对数据块进行标注。基于接口模式的数据标注算法和基于结果模式的数据标注算法分别依赖于数据查询接口页面和查询结果页面的数据属性，能够实现对深网数据块的精准标注同一字段中的页面。

　　2.3.4 数据块相似度度量

　　数据块之间的相似性度量用于识别数据块之间是否存在冗余或互补的属性，从而提取出信息完整的数据实体。数据块之间的相似性度量方法可以分为基于文本、结构和语义的相似性度量。基于文本相似度度量算法，对数据块的文本进行相似度计算。基于结构的相似度度量算法是计算数据块所在网页的标签结构的相似度。基于语义相似度度量算法，从网页文本中提取语义词汇，通过计算语义词汇的相似度得到数据块的相似度。上述每种数据块相似度测量算法都有其自身的特点。在实际应用中，可以结合多种度量算法来提高数据相似度的准确性。

　　2.3.5 数据源整合

<p>如果同一域内不同的深度网页提供了相似度更高的数据块，则可以整合这些深度网页的数据源。数据源集成通常结合网页的结构特征和数据块的语义特征，利用聚类算法或混合特征对数据实体进行改进，从而实现数据源的集成。文献[8]计算不同数据源的数据块属性的相似度，区分数据块之间的公共属性和私有属性，通过结合每个数据实体的公共属性和私有属性来完成多数据源的集成。