网络爬虫基本原理

　　网络爬虫基本原理23.05.2019基本描述 需要理解的算法 数据分类抓取策略 更新策略23.05.2019网络爬虫网络爬虫（又被称为网页蜘蛛，网络机器人），是一种根据一定的规则，自动的 抓取万维网信息的程序或则脚本，是搜索引擎的重要组成。传统爬虫从一个或若 干初始网页的开始，获得初始网页上的，在抓取网页的过程中，不断从当前页面 上抽取新的装入队列，直到满足系统的一定停止条件。23.05.2019聚焦爬虫传统爬虫从一个或若干初始网页的开始，获得初始网页上的，在抓取网页的过程 中，不断从当前页面上抽取新的装入队列,直到满足系统的一定停止条件。聚焦爬 虫的工作流程较为复杂，需要按照一定的网页剖析算法过滤与主题无关的链接，保留有用的链接并将其倒入等待抓取的队列。然后网络爬虫原理，它将按照一定的搜索策略从 队列中选择下一步要抓取的网页，并重复上述过程，直到达到系统的某一条件时 停止。另外，所有被爬虫抓取的网页将会被系统储存，进行一定的剖析、过滤， 并构建索引，以便以后的查询和检索；对于聚焦爬虫来说，这一过程所得到的分 析结果还可能对之后的抓取过程给出反馈和指导。23.05.2019简单流程 ::作为初始解析 网页数据 分析下载网页库*敏*感*词*待抓取已抓取下载网页 进入已抓取队列从队列信息中抽 取新的23.05.2019须要理解的算法.关键字匹配 :: 字符串匹配 算法（算法） 有限自动机算法 *算法.网页内容冗余 :: 卡时.大数目网页处理 :: *分布式.防止重复遍历 :: 字符串23.05.2019数据分类.已下载未过期网页 .已下载已过期网页：抓取到的网页实际上是互联网内容的一个镜像与备份，互联网是动态变化的， 一部分互联网上的内容早已发生了变化，这时，这部份抓取到的网页就过期了。

　　 .待下载网页：也就是待抓取队列中的这些页面。 .可知网页：还没有抓取出来，也没有在待抓取队列中，但是可以通过对已抓取页面或则待 抓取对应页面进行剖析获取到的，认为是可知网页。 .不可知网页：还有一部分网页，爬虫是难以直接抓取下载的23.05.2019数据分类 ::已知网页已抓取未过期 已抓取已过期23.05.2019数据分类 ::不可知网页23.05.2019抓取策略 :: 暴力.深度优先搜索 .广度优先搜索 .大站优先策略对于待抓取队列中的所有网页，根据所属的网站进行分类。对于待下载页面数 多的网站，优先下载。这个策略也因而称作大站优先策略。23.05.2019抓取策略 :: 技巧.反向链接数策略 反向链接数是指一个网页被其他网页链接指向的数目。反向链接数表示的是一个网页的内容遭到其他人的推荐的程度。因此，很多时侯搜索引擎的抓取系统会 使用这个指标来评价网页的重要程度，从而决定不同网页的抓取先后次序。在真实的网路环境中，由于广告链接、作弊链接的存在，反向链接数不能完全 准确评价网页的重要程度。因此，搜索引擎常常考虑一些可靠的反向链接数。23.05.2019抓取策略 :: 技巧策略 算法借鉴了算法的思想。

　　对于早已下载的网页，连同待抓取队列中的，形成网页集合网络爬虫原理，计算每位页面的值，计算完以后，将待抓取队列中的根据值的大小排列， 并根据该次序抓取页面。策略策略 该算法实际上也是对页面进行一个重要性打分。在算法开始前，给所有页面一个相同的初始*敏*感*词*（）。当下载了某个页面然后，将的*敏*感*词*平摊给所有从中剖析 出的链接，并且将的*敏*感*词*清空。对于待抓取队列中的所有页面根据*敏*感*词*数进行排 序。23.05.2019更新策略 :: 可持久化数据结构.历史参考策略 顾名思义，根据页面往年的历史更新数据，预测该页面未来何时会发生变化。一般来说，是通过泊松过程进行建模进行预测。.用户体验策略 尽管搜索引擎针对于某个查询条件才能返回数目巨大的结果，但是用户常常只关注前几页结果。因此，抓取系统可以优先更新这些现实在查询结果前几页中的 网页，而后再更新这些旁边的网页。这种更新策略也是须要用到历史信息的。用 户体验策略保留网页的多个历史版本，并且依照过去每次内容变化对搜索质量的 影响，得出一个平均值，用这个值作为决定何时重新抓取的根据。23.05.2019更新策略 :: 统计学改进.聚类抽样策略 前面提及的两种更新策略都有一个前提：需要网页的历史信息。

　　这样就存在两个问题：第一，系统要是为每位系统保存多个版本的历史信息，无疑降低了好多 的系统负担；第二，要是新的网页完全没有历史信息，就难以确定更新策略。而降维抽样策略觉得，网页具有好多属性，类似属性的网页，可以觉得其更新 频率也是类似的。要估算某一个类别网页的更新频度，只须要对这一类网页抽样， 以她们的更新周期作为整个类别的更新周期。23.05.2019的个人博客《这就是搜索引擎——核心技术解读》 张俊林 电子工业出版社《搜索引擎技术基础》刘奕群等 清华大学出版社23.05.2019ACM2013