认识搜索引擎抓取程序：蜘蛛

　　认识搜索引擎抓取程序：蜘蛛

　　搜索引擎蜘蛛是什么意思？有时候时候也会说网络蜘蛛，网络爬虫，机器人

　　搜索引擎为了可以自动抓取互联网上面数以亿计的网页，必须有一个全自动的页面抓取程序。而这个程序我们一般称之为“蜘蛛”（也可以叫做“机器人”）。

　　编辑切换为居中

　　搜索引擎蜘蛛

　　那么不同的搜索引擎的蜘蛛，叫法也就不同了。

　　百度的抓取程序，一般称为百度蜘蛛,Baiduspider。我们可以在域名后面加上/robots.txt，就可以看到抓取协议，这里定义了蜘蛛能够做哪些的操作

　　编辑切换为居中

　　robots.txt

　　谷歌的抓取程序，一般称为谷歌机器人，Googlebot，它不叫蜘蛛了，要谷歌机器人，叫法不同而已，应改说是起的名字不同，做的事情都是一样的

　　360的抓取程序，一般称为360蜘蛛。

　　其实，不管叫做蜘蛛，还是机器人，你只要知道这个指的是搜索引擎的抓取程序，就可以了。

　　蜘蛛的任务很简单，就是顺着链接不断的抓取互联网上，自己还没有收录过的网页和链接，然后将抓取到的网页信息和链接信息存储到自己的网页数据库中。

　　而这些抓取到的网页，将有机会出现在最终的搜索结果中。因上我们上篇已经讲过了，搜索引擎的工作原理，抓取，过滤，收录，排序，所以是有机会出现在最终的搜索结果中，一些垃圾的内容到第二步就会被过滤了,搜索引擎的工作原理的第一个步骤抓取，就是由这些蜘蛛程序完成的

　　大家可以去实际操作一下，还有不懂的，可以私信留言噢

　　SEO学习推荐：