搜索引擎优化(seo)的基本工作模块(搜索引擎蜘蛛访问网站页面的程序被称为蜘蛛，也叫做机器人)

　　搜索引擎优化(seo)的基本工作模块(搜索引擎蜘蛛访问网站页面的程序被称为蜘蛛，也叫做机器人)

　　搜索引擎用来抓取和访问页面的程序称为蜘蛛，也称为机器人。当搜索引擎蜘蛛访问 网站 的页面时，它与您使用浏览器访问它的过程相同。蜘蛛发送访问页面的请求，服务器返回 HTML 代码。蜘蛛程序将这些代码存储在原创页面的数据中，并且搜索引擎为了提高爬取和爬取的速度，会使用多个蜘蛛进行分布式爬取。

　　一、搜索引擎蜘蛛的基本原理

　　如果互联网是一个蜘蛛网，那么搜索引擎蜘蛛就是在这个网络上爬行的蜘蛛。

　　网络蜘蛛通过网页的链接地址寻找网页，从网站的一个页面（主页）开始，读取网页的内容，寻找网页中的其他链接地址，找到下一个网页通过这些链接地址，知道找到这个网站所有页面。

　　对于搜索引擎来说，几乎不可能爬取互联网上的所有页面。部分原因是技术问题。100 亿页的容量为 100*2000G 字节。这么多数据下载需要多台机器下载很长时间。把所有的网页放到下面需要时间，而且数据量太大，也会影响搜索时的效率。

　　因此，搜索引擎只抓取一些重要的网页，所以有些蜘蛛为一些不太重要的网站设置了访问级别的数量，所以如果你的网站有三级链接，但是蜘蛛的数量限制访问的层数是两层，那么你的第三层网页将不会被蜘蛛访问。对于 网站 设计师来说，扁平化的 网站 有助于搜索引擎抓取更多网页。

　　网络蜘蛛在访问网站网页时，经常会遇到加密数据和网页权限的问题。某些网页需要会员权限才能访问。

　　当然，网站的站长可以让网络蜘蛛不按约定爬取，但是对于一些卖报告的网站，他们希望搜索引擎可以搜索到他们的报告，但不是完全免费的为了让搜索者查看，需要向网络蜘蛛提供相应的用户名和密码。

　　网络蜘蛛可以通过给定的权限抓取这些网页，从而提供搜索，当搜索者点击查看网页时，搜索者也需要提供相应的权限验证。

　　二、搜索引擎蜘蛛的页面爬取过程

　　搜索引擎呈现给用户的每一个搜索结果都对应于互联网上的一个页面。每个搜索结果从生成到被搜索引擎呈现给用户，都要经过四个步骤：爬取、过滤、索引和输出结果。

　　抓

　　百度蜘蛛是百度搜索引擎的计算机程序，专门抓取互联网上的信息。当你的 网站 中出现新内容时，如果你没有设置任何外部链接指向 网站 中的新内容，蜘蛛将通过 Internet 上指向该页面的链接进行访问和爬取内容，蜘蛛无法抓取它。对于已经爬取的内容，搜索引擎会记录爬取的页面，并根据这些页面对用户的重要性，安排不同频率的爬取和更新工作。

　　筛选

　　并非互联网上的所有页面都对用户有价值，例如：一些明显欺骗用户的网页、空白内容页面、死链接等。此类网页对用户、百度和站长都没有价值。因此，百度对其内容进行了过滤，避免给用户和你的网站带来不必要的麻烦。

　　指数

　　百度会对检索到的内容进行标记和识别，并将其存储为结构化数据。百度会将网页中的关键词进行存储和识别，方便用户搜索匹配的内容。

　　输出结果

　　输入关键词后，百度会对它进行一系列复杂的分析，根据分析的结论，在索引库中寻找最匹配的网页，并根据用户的需要输入< @关键词 对网页的优劣进行打分，按照最终得分进行排列，呈现给用户。

　　常用爬虫框架

　　爬虫工作的基本流程：1、首先选择互联网中的一部分网页，将这些网页的链接地址作为*敏*感*词*URL

　　2、 将这些*敏*感*词*URL放入待爬取URL队列中，爬虫从待爬取URL队列中依次读取

　　3、通过DNS解析URL

　　4、将链接地址转换为网站服务器对应的IP地址

　　5、网页下载器通过网站服务器下载网页

　　6、下载的网页是网页文档的形式

　　7、在 Web 文档中提取 URL

　　8、过滤掉已经爬取过的网址

　　9、继续对没有被爬取的URL进行爬取，直到待爬取的URL队列为空。

　　其中，部分下载的网页文档存储在页库中，等待后续的索引等处理，另一方面，将网页中的URL存储在爬取的URL库中，提供给步骤8供过滤。三、搜索引擎蜘蛛的爬取策略

　　由于蜘蛛可以在网络上抓取尽可能多的页面，所以它会跟踪网页上的介绍，从一个页面爬到下一个页面，就像蜘蛛在蜘蛛网上爬行一样。整个互联网网站是由相互连接的链接组成的，也就是说，搜索引擎蜘蛛最终会从任何一个页面开始爬取所有页面。

　　网站 和页面链接的结构过于复杂，蜘蛛只能通过一定的方法爬取所有页面。最简单的三种爬取策略：

　　1、最好的第一

　　最佳优先级搜索策略根据一定的网页分析算法预测候选URL与目标网页的相似度，或与主题的相关度，选择评价最好的一个或几个URL进行爬取。算法预测为“有用”的网页。

　　存在的一个问题是爬虫爬取路径上的很多相关网页可能会被忽略，因为最佳优先级策略是局部最优搜索算法，所以需要结合最佳优先级结合具体应用改进跳出当地的。根据马海翔博客的研究，最好的一点是，这样的闭环调整可以将不相关页面的数量减少30%到90%。

　　2、深度优先

　　深度优先是指蜘蛛沿着找到的链接爬行，直到前面没有其他链接，然后返回第一页，沿着另一个链接爬行。

　　3、广度优先

　　广度优先是指当蜘蛛在一个页面上发现多个链接时，它不会一路跟随一个链接，而是爬取页面上的所有链接，然后进入第二层页面并跟随第二层找到的链接层。翻到第三页。

　　理论上，无论是深度优先还是广度优先，只要给蜘蛛足够的时间，它就可以爬取整个互联网。

　　四、搜索引擎蜘蛛工作中的信息采集

　　信息采集模块包括“蜘蛛控制”和“网络蜘蛛”两部分。“蜘蛛”这个名字形象地描述了信息采集模块在网络数据形成的“Web”上获取信息的功能。

　　一般来说，网络爬虫都是从*敏*感*词*网页开始，反复下载网页，从文档中搜索不可见的URL，从而访问其他网页，遍历网页。

　　而它的工作策略一般可以分为累积爬取（cumulative crawling）和增量爬取（incremental crawling）。

　　1、累积爬取

　　累积爬取是指从某个时间点开始，遍历系统允许存储和处理的所有网页。在理想的软硬件环境下，经过足够的运行时间，累积爬取策略可以保证爬取相当大的网页集合。

　　但在马海翔看来，由于网络数据的动态性，集合中的网页被爬取的时间点不同，页面被更新的情况也不同。因此，累计爬取的网页集合实际上无法与真实环境进行比较。网络数据保持一致。

　　2、增量爬取

　　与累积爬取不同，增量爬取是指在一定规模的网页集合的基础上，通过更新数据，在现有集合中选择过期的网页，以保证抓取到的网页被爬取。数据与真实网络数据足够接近。

　　增量爬取的前提是系统已经爬取了足够多的网页，并且有这些页面被爬取的时间的信息。在针对实际应用环境的网络爬虫设计中，通常会同时收录累积爬取和增量爬取策略。

　　累积爬取一般用于数据集合的整体建立或*敏*感*词*更新，而增量爬取主要用于数据集合的日常维护和即时更新。

　　爬取策略确定后，如何充分利用网络带宽，合理确定网页数据更新的时间点，成为网络蜘蛛运营策略中的核心问题。

　　总体而言，在合理利用软硬件资源对网络数据进行实时捕捉方面，已经形成了较为成熟的技术和切实可行的解决方案。马海翔觉得这方面需要解决的主要问题是如何更好的处理动态的网络数据问题（比如越来越多的Web2.0数据等），并且更好根据网页质量修改抓取策略的问题。

　　五、数据库

　　为了避免重复爬取和爬取网址，搜索引擎会建立一个数据库来记录已发现未爬取的页面和已爬取的页面。那么数据库中的URLs是怎么来的呢？

　　1、手动输入*敏*感*词*网站

　　简单来说就是我们建站后提交给百度、谷歌或者360的URL收录。

　　2、蜘蛛爬取页面

　　如果搜索引擎蜘蛛在爬取过程中发现了新的连接URL，但不在数据库中，则将其存入待访问的数据库中（网站观察期）。

　　爬虫根据重要程度从要访问的数据库中提取URL，访问并爬取页面，然后从要访问的地址库中删除该URL，放入已经访问过的地址库中。因此，马海翔建议网站中的站长们在观察期内要尽可能的定期更新网站。

　　3、站长提交网站

　　一般而言，提交网站只是将网站保存到要访问的数据库中。如果网站是持久化的，不更新spider，就不会光顾搜索引擎的页面了收录是spider自己点链接。

　　因此，将其提交给搜索引擎对您来说不是很有用。后期根据你的网站更新程度来考虑。搜索引擎更喜欢沿着链接本身查找新页面。当然，如果你的SEO技术足够成熟，并且有这个能力，你可以试试看，说不定会有意想不到的效果，但是对于一般站长来说，马海翔还是建议让蜘蛛爬行，爬到新的站点页面自然。

　　六、吸引蜘蛛

　　虽然理论上说蜘蛛可以爬取所有页面，但在实践中是不可能的，所以想要收录更多页面的SEO人员不得不想办法引诱蜘蛛爬取。

　　既然不能爬取所有的页面，就需要让它爬取重要的页面，因为重要的页面在索引中起着重要的作用，直接影响排名因素。哪些页面更重要？对此，马海翔还专门整理了以下几个我认为比较重要的页面，具有以下特点：

　　1、网站 和页面权重

　　优质老网站被赋予高权重，而这个网站上的页面爬取深度更高，所以更多的内页会是收录。

　　2、页面更新

　　蜘蛛每次爬取时都会存储页面数据。如果第二次爬取发现页面内容和第一次收录完全一样，说明页面没有更新，蜘蛛不需要经常爬取再爬取。

　　如果页面内容更新频繁，蜘蛛就会频繁爬爬爬取，那么页面上的新链接自然会被蜘蛛更快地跟踪和爬取，这也是为什么需要每天更新文章@ >。

　　3、导入链接

　　无论是外部链接还是同一个网站的内部链接，为了被蜘蛛爬取，必须有传入链接才能进入页面，否则蜘蛛不会知道页面的存在一点也不。这时候URL链接就起到了非常重要的作用，内部链接的重要性就发挥出来了。

　　这就是为什么大多数网站管理员或 SEO 都想要高质量的附属链接，因为蜘蛛 网站 从彼此之间爬到你 网站 的次数和深度更多。