何为SEO？蜘蛛（Spider）抓取网页程序的规律

　　何为SEO？蜘蛛（Spider）抓取网页程序的规律

　　什么是搜索引擎优化？

　　SEO是英文Search Engine Optimization的缩写，中文翻译为“Search Engine Optimization”，是指网站在了解搜索引擎自然排名机制的基础上进行内外调整和优化，以及改进网站关键词在搜索引擎中的自然排名，将获得更多的展示次数，吸引更多的目标客户点击访问网站，从而达到网络营销和品牌建设的目的。

　　作为一个SEO初学者，首先要做的不是急于学习如何发送链接、静态、元设置等，而是要了解SEO的原理和功能。所以，我想先给大家讲解一下搜索引擎的原理，帮助大家更好的理解SEO。

　　今天主要讲一下网络爬虫程序-Spider，有的地方也叫机器人。 Spider是一个搜索引擎的自动应用，它的功能很简单，就是浏览互联网上的信息，然后抓取所有的信息到搜索引擎的服务器，然后建立索引库等操作。我们可以把蜘蛛当成采集网站内容工具，所以越有利于爬行操作，越有利于SEO。其实蜘蛛的工作很简单。具体步骤见下图。

　　这里有一条重要的信息：蜘蛛爬取的是网站代码内容，而不是我们看到的显示内容，所以没有直接从数据库中读取的文本内容，引擎无法获取。 如：

　　显示内容：

　　代码内容：

　　蜘蛛抓取的是第二页，我们真的要把这段代码的内容展示给引擎吗？显然不是。

　　以下描述蜘蛛抓取网页的规则：

　　1、深度优先

　　搜索引擎蜘蛛在一个页面上找到一个链接后爬下这个链接，然后在下一页找到另一个链接。这样，一页接一页，直到所有的链接都被抓取。这就是深度优先的爬取策略。在这里告诉SEOER，做好网站内链的重要性一定要用绝对地址。

　　2、宽度优先

　　搜索引擎蜘蛛首先抓取整个页面的所有链接，然后抓取下一页的所有链接。宽度优先主要告诉SEOER，网站目录不要设置太多，层次要明确。

　　3、权重优先

　　这个比较容易理解，主要是因为搜索引擎蜘蛛更喜欢抓取高质量的链接内容。比如在网易首页，蜘蛛经常来，而不是好的网站，很少来。 SEOER权重优先的提醒是，做好外链很重要。

　　4、 回访并获取

　　比如搜索引擎蜘蛛前一天抓取了网站的页面，第二天网站又添加了新内容，搜索引擎蜘蛛就可以再次抓取新内容。从长远来看，网站在蜘蛛的“印象”中会非常友好。这种重访爬取策略不仅对SEOER有用，对网站构建也有用：不时更新网站内容也能提升客户体验。