SEO优化：增量型Spider的分类及注意事项！！

　　SEO优化：增量型Spider的分类及注意事项！！

　　2.1.1Spider的分类

　　根据互联网上所有蜘蛛的功能和特点，可分为三类：批量蜘蛛、增量蜘蛛和垂直蜘蛛。

　　1.Batch Type Spider

　　一般来说，它有明显的爬取范围和目标。设置爬取时间的限制、爬取数据的限制、或者在固定范围内爬取页面的限制等，当蜘蛛的作业达到预设的目标时，就会停止。普通站长和SEO人员使用的采集工具或程序，发送的蜘蛛大多是批量蜘蛛，一般只抓取固定网站的固定内容，或者为某个资源设置固定的目标数据量。当捕获的数据或时间达到设定的限制时，它会自动停止。这种蜘蛛是典型的批处理蜘蛛。

　　2.增量蜘蛛

　　增量蜘蛛也可以称为一般爬虫。一般网站或者可以称为搜索引擎的程序都使用增量蜘蛛，除了站点搜索引擎，一般不需要自己站点搜索引擎上的蜘蛛。增量蜘蛛不同于批量蜘蛛。没有固定的目标、范围和时间限制。通常，它们会被无休止地爬取，直到整个网络都被捕获。 Incremental Spider 不仅抓取尽可能多的页面，还会相应地抓取和更新已经抓取的页面。由于整个互联网在不断变化，单个网页上的内容可能会随着时间的推移不断更新，甚至在一段时间后该页面会被删除。优秀的增量蜘蛛需要及时发现这种变化并反映。将网页重新处理到搜索引擎的后续处理系统。目前百度、谷歌等全文搜索引擎的爬虫一般都是增量爬虫。

　　3.垂直蜘蛛

　　垂直蜘蛛也可以称为聚焦爬虫，它只抓取特定主题、特定内容或特定行业的网页，并且一般专注于某个有限的范围进行增量抓取。这类蜘蛛并不追求增量蜘蛛一样的大而广的覆盖范围，而是在增量蜘蛛上增加了对网页抓取的限制。直接被遗弃了爬行。对于页面级别的纯文本内容识别，目前的搜索引擎Spider无法做到100%准确分类，垂直蜘蛛无法像增量蜘蛛一样爬取整个互联网，因为太浪费资源。因此，如果当前的垂直搜索引擎有附加的增量蜘蛛，它会使用增量蜘蛛对站点的内容进行分类，然后发送垂直蜘蛛去爬取满足自身内容需求的站点；没有增量蜘蛛作为基本的垂直搜索引擎，Spider一般采用手动添加爬行站点来引导垂直Spider操作。当然，同一个站点会有不同的内容。这时候垂直蜘蛛也需要做内容判断，但是工作量相对减少了很多，优化了很多。目前，易淘、优酷、百度、谷歌等大型搜索引擎下的垂直搜索采用垂直蜘蛛。应用较为广泛的垂直蜘蛛虽然对网页的识别度较高，但总存在一些不足，这也使得垂直搜索引擎上的SEO还有很大的提升空间。

　　本书主要讨论网页搜索的SEO，所以讨论的内容主要是增量蜘蛛，也会简单涉及垂直蜘蛛的内容。事实上，垂直蜘蛛可以看作是爬行限制。增量蜘蛛。 a+1INHwVbyI3yvwV/UchPDeTR5lEB5TSwNrtFnXkap15pOfACHdKvBk4hPV38Zp6