百度网页关键字抓取(查看网站log日志来分析蜘蛛的抓取情况(图))

　　百度网页关键字抓取(查看网站log日志来分析蜘蛛的抓取情况(图))

　　查看网站log日志来分析蜘蛛的爬行情况，是我们SEO工作者必须掌握的，但是对于一些百度蜘蛛，一定要特别注意。这些蜘蛛在我们看来并不稀奇，但有一些是但也有一些伪蜘蛛，那么如何识别这些伪蜘蛛呢？什么是“伪蜘蛛”，顾名思义就是一种假蜘蛛，所以我们把抓取网页异常的百度蜘蛛称为一些伪蜘蛛。大家都知道，站长工具查看网站信息后会出现“伪蜘蛛”的IP。当前站长工具IP地址为“

　　查询平台网站log系统日志，分析搜索引擎蜘蛛的爬取状态，是SEO人员必须掌握的，但一定要注意一些百度爬虫。这种搜索引擎蜘蛛，人无完人。不寻常，但其中一些确实是一些伪搜索引擎蜘蛛，那么如何区分这种伪搜索引擎蜘蛛呢？

　　什么是“伪搜索引擎蜘蛛”，说白了，就是说一个假的搜索引擎蜘蛛，所以人们说，异常抓取网页的百度爬虫都是伪搜索引擎蜘蛛。

　　众所周知，百度站长工具查询平台网站信息内容后，会出现“伪搜索引擎蜘蛛”的IP。今天百度站长工具网络ip是“117.28.255.42”，大多数人看到的百度爬虫都是以“117”开头的都是伪搜索。引擎蜘蛛，所以每个人都可以立即忽略它。如果要区分，马上用命令行专用工具输入命令“tracert network ip”，出现的结果如下：

　　今天，我们还将详细介绍一种“伪搜索引擎蜘蛛”。百度搜索官网上也有这种类型的搜索引擎蜘蛛，但它确实是一个搜索引擎蜘蛛，目的是不为网页创建数据库索引。这种搜索引擎蜘蛛抓取人们的网页只是为了匹配网页，而不是创建所有的数据库索引。所以，这种百度爬虫的人也说他们是伪搜索引擎蜘蛛。

　　这种搜索引擎蜘蛛在使用cmd命令行专用工具tracert network ip时看不到所有奇怪的情况，和一般的百度爬虫没什么区别。下图：

　　事实上，人们会回去检查这个百度爬虫的网络IP，他们会发现这个IP和所有普通IP都是一样的，而且都是以“123”开头的。编辑的平台网站曾经有很多类似的搜索引擎蜘蛛，所以即使根据tracert命令，也无法完全表明这个IP确实是百度爬虫。

　　这样，除了所有联盟搜索引擎蜘蛛，你还应该关注百度广告搜索引擎蜘蛛等伪搜索引擎蜘蛛的IP。

　　一般来说，按照tracert命令搜索到的搜索引擎蜘蛛只是查询百度搜索官网的那些，而百度搜索内部的一些搜索引擎蜘蛛（比如百度联盟）还得经过人的精心制作才能理解. 判断是否是真正可以创建数据库索引的百度爬虫。