(蜘蛛会规律进入网站中进行爬行和抓取频率的影响)

　　(蜘蛛会规律进入网站中进行爬行和抓取频率的影响)

　　蜘蛛对网站的抓取频率受网站的更新周期影响。如果网站定时定量更新，那么蜘蛛会定时进入网站爬行爬行。定期更新是什么意思：即按照一定的规则更新网站中的文章，例如：一天一篇，一天两篇，很多人不知道有多少篇更新，建议：按照网站更新内部列数文章比较好。

　　每次蜘蛛爬行，都会存储页面数据。如果第二次爬取发现页面和之前的收录完全一样，说明页面没有更新。多次爬取后，蜘蛛会更频繁地更新页面。明白如果页面更新不频繁，蜘蛛就不需要频繁爬取。如果页面内容更新频繁，蜘蛛会更频繁地访问这个页面，页面上出现的新链接自然会被蜘蛛快速抓取。因此，在网站的优化中，要定时定量更新内容，增加网站被抓取的频率。

　　搜索引擎蜘蛛抓取的页面存储在原创数据库中，搜索引擎会对原创数据库中的页面进行相应的处理，也就是常说的预处理。

　　预处理：蜘蛛抓取的原创页面不能直接用于排名，需要对其进行一定的处理。这个处理过程称为预处理。搜索引擎预处理是在后台提前完成的，用户在搜索的时候感觉不到这个过程。搜索引擎预处理涉及网站优化中的多个环节。因此，掌握搜索引擎预处理的原理。可以快速了解网站优化的各种因素。

　　搜索引擎预处理分为六步

　　1. 提取文本：搜索引擎根据文本内容从网络文件中去除标签和程序，去除可用于排名的网络文本内容。同时，在优化网站的时候，尽量在页面内容上尽量使用文字为主，方便蜘蛛提取内容进行排名

　　2. 中文分词：搜索引擎在抓取页面中提取文本后，需要对提取的文本进行拆分重组。这个过程称为中文分词。目前的搜索引擎在检索标题时也使用中文分词算法，所以选择一个好的标题尤为重要（中文分词算法后面会详细讲解）

　　3. 去除重复页面：比较分词后的页面，去除重复页面。同一个文章经常重复不同的网站和同一个网站不同的网址上一页，搜索引擎不喜欢重复难懂的内容。用户搜索时，如果在搜索引擎结果页的顶部位置看到，都是来自不同的网站但同一篇文章文章，用户体验会很差。搜索引擎关心用户体验。对于搜索引擎来说，他们更倾向于高质量的文章内容

　　4. 计算网页的重要性：搜索引擎会根据网页的链接数和页面的原创性质来计算页面的重要性，并提供高质量的< @原创文章对于搜索引擎来说，页面的重要性越高，页面得分越高，页面的排名就越高，网站的权重也会相应增加

　　5.索引：索引就是建立关键词与网页的对应关系。优点是可以快速获取相应的数据。简而言之，它取决于预先对页面进行索引

　　6. 分析链接：链接关系是预处理的重要步骤。由于主流搜索引擎排名收录网页之间的链接信息，因此需要计算页面上哪些链接指向其他页面形成网站以及页面的链接权重，链接类型用于传递重量。