网络爬虫|图文|百度文库

　　网络爬虫序言－爬虫? Crawler ，即Spider（网络爬虫），其定义有广义 和狭义之分。狭义上指遵守标准的 http 协议，利 用超链接和 Web 文档检索方式遍历万维网的软件 程序；而广义的定义则是能遵守 http 协议，检索 Web 文档的软件都称之为网路爬虫。 ? 网络爬虫是一个功能太强的手动提取网页的程序， 它为搜索引擎从万维网上下载网页，是搜索引擎的 重要组成部份。聚焦爬虫? 随着网路的迅速发展，万维网成为大量信息的载体 ，如何有效地提取并借助这种信息成为一个巨大的 挑战。搜索引擎(Search Engine)，例如传统的通 用搜索引擎AltaVista，Yahoo!和Google等，作为 一个辅助人们检索信息的工具成为用户访问万维网 的入口和 指南。但是，这些通用性搜索引擎也存在 着一定的局限性，如：聚焦爬虫? (1) 不同领域、不同背景的用户常常具有不同的检索目的和 需求，通用搜索引擎所返回的结果包含大量用户不关心的网 页。? ? (2) 通用搜索引擎的目标是尽可能大的网路覆盖率，有限的 搜索引擎服务器资源与无限的网路数据资源之间的矛盾将进 一步加深。? ? (3) 万维网数据方式的丰富和网路技术的不断发展，图片、 数据库、音频/视频多媒体等不同数据大量出现，通用搜索引 擎常常对这种信息浓度密集且具有一定结构的数据无能为力 ，不能挺好地发觉和获取。

　　? ? (4) 通用搜索引擎大多提供基于关键字的检索，难以支持根 据语义信息提出的查询。?聚焦爬虫? 为了解决上述问题，定向抓取相关网页资源的聚焦 爬虫应运而生。聚焦爬虫是一个手动下载网页的程 序，它按照既定的抓取目标，有选择的访问万维网 上的网页与相关的链接，获取所须要的信息。 ? 与通用爬虫(general purpose web crawler)不同 ，聚焦爬虫并不追求大的覆盖，而将目标定为抓取 与某一特定主题内容相关的网页，为面向主题的用 户查询打算数据资源。垂直搜索的本质?从主题相关的领域内，获取、加工与搜索行 为相匹配的结构化数据和元数据信息。如数码产品mp3：内存、尺寸、大小、电池机型、价格、生产 厂家等，还可以提供比价服务爬虫基本原理?网络爬虫是通过网页的链接地址来找寻网页， 从一个或若干初始网页的URL开始（通常是某 网站首页），遍历 Web 空间，读取网页的内容 ，不断从一个站点联通到另一个站点，自动建 立索引。在抓取网页的过程中，找到在网页中 的其他链接地址，对 HTML 文件进行解析，取 出其页面中的子链接，并加入到网页数据库中 ，不断从当前页面上抽取新的URL装入队列， 这样仍然循环下去，直到把这个网站所有的网 页都抓取完，满足系统的一定停止条件。

　　爬虫基本原理?另外，所有被爬虫抓取的网页将会被系统储存 ，进行一定的剖析、过滤，并构建索引，以便 之后的查询和检索。网络爬虫剖析某个网页时 ，利用 HTML 语言的标记结构来获取指向其他 网页的 URL 地址，可以完全不依赖用户干预。 ?如果把整个互联网当作一个网站，理论上讲网 络爬虫可以把互联网上所有的网页都抓取出来爬虫基本原理?而且对于个别主题爬虫来说，这一过程所得到 的剖析结果还可能对之后抓取过程给出反馈和 指导。正是这些行为方法，这些程序才被称为 爬虫( spider )、crawler、机器人。爬虫基本原理?Spider如何抓取所有的 Web 页面呢? ?在Web出现曾经，传统的文本集合，如目录数 据库、期刊文摘储存在磁带或光碟里，用作索 引系统。 ?与此相对应，Web 中所有可访问的URL都是未 分类的，收集 URL 的惟一方法就是通过扫描收 集这些链向其他页面的超链接，这些页面还未 被搜集过。爬虫基本原理? 从给定的 URL 集出发，逐步来抓取和扫描这些新 的出链。这样周而复始的抓取那些页面。这些新发 现的 URL 将作为爬行器的未来的抓取的工作。 ? 随着抓取的进行，这些未来工作集也会随着膨胀， 由写入器将这种数据写入c盘来释放寻址，以及避 免爬行器崩溃数据遗失。

　　没有保证所有的 Web 页 面的访问都是根据这些方法进行，爬行器从不会停 下来，Spider 运行时页面也会急剧不断降低。 ? 页面中所包含的文本也将呈交给文本索引器，用于 基于关键词的信息索引。工作流程? 网络爬虫是搜索引擎中最核心的部份，整个搜索引擎的 素材库来源于网路爬虫的采集，从搜索引擎整个产业链 来看，网络爬虫是处于最上游的产业。其性能优劣直接 影响着搜索引擎整体性能和处理速率。 ? 通用网路爬虫是从一个或若干个初始网页的上的 URL 开始，获得初始网页上的 URL 列表，在抓取网页过程 中，不断从当前页面上抽取新的 URL 放入待爬行队列网络爬虫，直到满足系统的停止条件。工作流程? 网络爬虫基本构架如图所示，其各个部份的主要功能介 绍如下： ? 1．页面采集模块：该模块是爬虫和因特网的插口，主 要作用是通过各类 web 协议(一般以 HTTP．FTP 为主 )来完成对网页数据的采集，保存后将采集到的页面交 由后续模块作进一步处理。 其过程类似于用户使用浏览器打开网页，保存的网页供 其它后续模块处理，例如，页面剖析、链接抽取。工作流程? 2．页面剖析模块：该模块的主要功能是将页面采集模 块采集下来的页面进行剖析，提取其中满足用户要求的 超链接，加入到超链接队列中。

　　 页面链接中给出的 URL 一般是多种格式的，可能是完 整的包括合同、站点和路径的，也可能是省略了部份内 容的，或者是一个相对路径。所以为处理便捷，一般进 行规范化处理，先将其转化成统一的格式。工作流程?3、链接过滤模块：该模块主要是用于对重复链 接和循环链接的过滤。例如，相对路径须要补 全 URL ，然后加入到待采集 URL 队列中。 此时，一般会过滤掉队列中早已包含的 URL ， 以及循环链接的URL。工作流程?4．页面库：用来储存早已采集下来的页面，以 备后期处理。 ?5．待采集 URL 队列：从采集网页中抽取并作 相应处理后得到的 URL ，当 URL 为空时爬虫 程序中止。 ?6．初始 URL ：提供 URL *敏*感*词*，以启动爬虫关键技术剖析?抓取目标的定义与描述 ?网页URL的搜索策略 ?网页的剖析与信息的提取抓取目标的定义与描述?针对有目标网页特点的网页级信息对应网页库级垂直搜索，抓取目标网页，后续还要从 中抽取出须要的结构化信息。稳定性和数目上占优， 但成本高、性活性差。?针对目标网页上的结构化数据对应模板级垂直搜索，直接解析页面，提取并加工出 结构化数据信息。快速施行、成本低、灵活性强，但 后期维护成本高。

　　URL 的搜索策略网路爬虫 URL 抓取策略有： ?IP 地址搜索策略 ?广度优先 ?深度优先 ?最佳优先URL 的搜索策略? 基于IP地址的搜索策略 ? 先赋于爬虫一个起始的 IP 地址网络爬虫，然后按照 IP 地址 递增的形式搜索本口地址段后的每一个 WWW 地 址中的文档，它完全不考虑各文档中指向其它 Web 站点的超级链接地址。 ? 优点是搜索全面，能够发觉这些没被其它文档引用 的新文档的信息源 ? 缺点是不适宜*敏*感*词*搜索URL 的搜索策略? 广度优先搜索策略 ? 广度优先搜索策略是指在抓取过程中，在完成当前层次 的搜索后，才进行下一层次的搜索。这样逐层搜索，依 此类推。 ? 该算法的设计和实现相对简单。在目前为覆盖尽可能多 的网页，一般使用广度优先搜索方式。 ? 很多研究者通过将广度优先搜索策略应用于主题爬虫中 。他们觉得与初始 URL 在一定链接距离内的网页具有 主题相关性的机率很大。URL 的搜索策略? 另外一种方式是将广度优先搜索与网页过滤技术结合让 用，先用广度优先策略抓取网页，再将其中无关的网页 过滤掉。这些技巧的缺点在于，随着抓取网页的增多， 大量的无关网页将被下载并过滤，算法的效率将变低。

　　? 使用广度优先策略抓取的次序为：A-B、C、D、E、F-G 、H-I 。URL 的搜索策略? 深度优先搜索策略 ? 深度优先搜索在开发网路爬虫初期使用较多的方式之一 ，目的是要达到叶结点，即这些不包含任何超链接的页 面文件。 ? 从起始页开始在当前 HTML 文件中，当一个超链被选 择后，被链接的 HTML 文件将执行深度优先搜索，一 个链接一个链接跟踪下去，处理完这条线路以后再转到 下一个起始页，继续跟踪链接。即在搜索其余的超链结 果之前必须先完整地搜索单独的一条链。URL 的搜索策略? 深度优先搜索顺着 HTML 文件上的超链走到不能再深 入为止，然后返回到某一个 HTML 文件，再继续选择 该 HTML 文件中的其他超链。当不再有其他超链可选 择时，说明搜索早已结束。 ? 这个方式有个优点是网路蜘蛛在设计的时侯比较容易。? 使用深度优先策略抓取的次序为：A-F-G、E-H-I、B、 C、D 。 ? 目前常见的是广度优先和最佳优先方式。URL 的搜索策略? 最佳优先搜索策略 ? 最佳优先搜索策略根据一定的网页剖析算法，先估算出 URL 描述文本的目标网页的相似度，设定一个值，并选 取评价得分超过该值的一个或几个 URL 进行抓取。

　　它 只访问经过网页分析算法估算出的相关度小于给定的值 的网页。 ? 存在的一个问题是，在爬虫抓取路径上的好多相关网页 可能被忽视，因为最佳优先策略是一种局部最优搜索算 法。因此须要将最佳优先结合具体的应用进行改进，以 跳出局部最优点。 ? 有研究表明，这样的闭环调整可以将无关网页数目增加 30%--90%。网页的剖析及信息的提取? 基于网路拓扑关系的剖析算法 根据页面间超链接引用关系，来对与已知网页有直接或 间接关系对象做出评价的算法。网页细度PageRank ，网站粒度 SiteRank。 ? 基于网页内容的剖析算法 从最初的文本检索方式，向涉及网页数据抽取、机器学 习、数据挖掘、自然语言等多领域综合的方向发展。 ? 基于用户访问行为的剖析算法 有代表性的是基于领域概念的剖析算法，涉及本体论。例子说明简述页面源代码?定位的爬取目标是娱乐博文，故在首页的源 代码中搜救“娱乐”之后，发现了如下数组 ： ?<div class="nav"><a href=";class= "a2 fblack">首页</a> <a href=" /"target="_blank"class="fw">娱乐 </a>解析html的形式? 实现网路爬虫，顾名思义另要程序手动解析网页。

　　考虑 到垂直爬虫及站内搜索的重要性，凡是涉及到对页面的 处理，就须要一个强悍的 HTML/XML Parser 支持解 析，通过对目标文件的低格处理，才能够实现特定信 息提取、特定信息删掉和遍历等操作。 ? HTMLParser ，它是 Python拿来的解析 html 的模 块。它可以剖析出 html 里面的标签、数据等等，是一 种处理html的简便途径。