搜索引擎优化原理(了解爬行器或爬行蜘蛛的速度取得这些信息？)

　　搜索引擎优化原理(了解爬行器或爬行蜘蛛的速度取得这些信息？)

　　一、了解爬虫或爬虫

　　我们知道，之所以能在百度和谷歌中快速找到我们需要的信息，是因为百度、谷歌等搜索引擎提前收录为我们提供了很多信息。不管是什么信息，无论是很旧的还是最近更新的，都可以在搜索引擎中找到。

　　好吧，既然搜索引擎需要预先收录这些海量的信息，那么它一定要去这个广阔的互联网世界去抓取这些信息。据报道，全球网民数量已达十亿以上，那么可以想象，在这十亿网民中，每天能产生多少信息？一个搜索引擎怎么能把这么多信息收录放到它自己的信息库里呢？它如何才能尽快获得这些信息？

　　首先，了解什么是爬虫或蜘蛛。有很多标题，但它们都指的是同一件事。它们都描述了搜索引擎发送的蜘蛛机器人来检测互联网上的新信息。每个搜索引擎对自己的爬虫都有不同的名称：百度的叫Baiduspider；Google 的称为 Googlebot，MSN 的称为 MSNbot，Yahoo 的称为 Slurp。这些爬虫其实就是用计算机语言编译的程序，日夜访问互联网上的每一个网站，并以最快的速度把他们访问的每个网页的信息带回自己的大本营。

　　二、搜索引擎每次能带回多少信息

　　为了让这些爬虫每次都能带回最大、最多的信息，仅靠一只爬虫不断地爬取互联网上的网页，绝对是不够的。因此，搜索引擎会通过安装在浏览器上的搜索工具栏，或者从搜索引擎提交页面的主页面提交的网站，发送许多爬虫开始爬取，开始爬取。爬到每个网页，然后通过每个网页的超链接转到下一页，以此类推……

　　搜索引擎不会检索整个网页的所有信息。有些网页信息量很大，搜索引擎只会获取每个网页最有价值的信息，一般如：标题、描述、关键词等。因此，只会获取到一页的页眉信息，只会跟踪少量的链接。百度一次最多可以带走120KB的信息，谷歌可以带走大约100KB的信息。因此，如果您希望您的大部分 网站 网页信息被搜索引擎带走，那么就不要设计网页。太长，内容太多。这样，对于搜索引擎来说，既能快速阅读，又能带走所有信息。

　　三、蜘蛛是如何爬行的？

　　所有蜘蛛的工作原理都是先从网络中抓取各种信息，放到数据仓库中。为什么叫数据仓库？因为此时的数据是杂乱无章的，或者是乱堆乱放的。因此，此时的信息不会出现在搜索结果中，这就是为什么有些网页已经被蜘蛛访问过，但是在网页中却找不到结果。

　　搜索引擎会爬取网络中的所有数据，然后根据关键词描述等相关信息进行分类，压缩，然后归类到索引中。抛弃。只有在索引中编辑过的信息才能出现在搜索结果中。最后，搜索引擎对用户输入的关键词进行分析，找到与用户最接近的结果，然后通过相关度从近到远排列，呈现在最终用户面前。

　　一般流程如下：

　　四、关注谷歌搜索引擎

　　Google 搜索引擎使用两个爬虫来爬取网页内容：Freshbot 和 Deepbot。Deepbot 每月执行一次，其采访内容在 Google 的主索引中，而 Freshbot 则全天候在网络上发现新的信息和资源，然后频繁访问和更新。因为，通常 Google 第一次发现或访问 Freshbot 列表中的相对较新的 网站。

　　Freshbot 的结果存储在另一个单独的数据库中。因为Freshbot在不断地工作和刷新访问内容，所以被它找到或更新的网页在执行时会被重写。该内容由 Google 主索引器的搜索结果提供。过去，一些网站最初是由谷歌支付的，但没过几天，这些信息就从谷歌的搜索结果中消失了，直到一两个月过去了，结果才重新出现在谷歌的主索引中。中间。这是因为 Freshbot 在不断更新和刷新内容，而 Deepbot 每月只需攻击一次，所以 Freshbot 中的这些结果还没有更新到主索引，而是被新的内容所取代。收录 实际上并没有进入 Google'

　　【相关链接】

　　搜索引擎优化教程（一)：了解搜索引擎优化

　　本文章源于“斗鱼斜吧”个人博客：转载请注明出处。