seo网站日志分析工具(网站日志分析和诊断有什么不对的地方？发包)

　　seo网站日志分析工具(网站日志分析和诊断有什么不对的地方？发包)

　　我们在做SEO优化的时候，一定要经常分析网站日志。对网站日志的分析和诊断，就像给网站看病一样。通过对网站日志的分析，我们可以更加清楚的了解网站的健康状况，可以帮助我们更好的做网站SEO优化。今天，海耀SEO外包技术小编为大家分享网站日志分析与诊断。有什么不对的可以留言，请大家一起讨论交流！

　　网站 日志也称为蜘蛛日志。它是一个小爬虫，每天爬取千万条“蜘蛛”网站，这个小爬虫程序就是一个“蜘蛛”，它在网站爬取后留下的轨迹或痕迹就是“日志” ”。

　　常见的蜘蛛名称：

　　百度蜘蛛；百度蜘蛛-图片；谷歌机器人；谷歌机器人图像；360蜘蛛；搜狗蜘蛛。

　　一、网站 日志的重要作用？

　　1、 通过网站日志，可以了解蜘蛛对网站的基本爬行，可以知道蜘蛛的爬行轨迹和爬行量，通过我们的网站日志，外部链接数和网站蜘蛛的爬取量有直接影响。我们所说的链接诱饵是，如果你制作了外链，蜘蛛就在抓取外链页面并释放该页面。此时蜘蛛可以通过你留下的链接爬取你的网站，网站日志会记录蜘蛛的这次爬行动作。

　　2、网站的更新频率也与网站的日志中蜘蛛爬行的频率有关。一般来说，更新频率越高，蜘蛛爬取的频率就越高，而我们网站的更新不仅仅是新内容的加入，也是我们的微调操作。

　　3、我们可以根据网站日志的反应，对我们空间中的某些事情和问题进行预警，因为如果服务器有问题，会在网站第一时间出现@> 日志反映一下，要知道服务器的稳定速度和打开速度都会直接影响到我们的网站。

　　4、通过网站的日志我们可以知道，网站的那些页面很受蜘蛛欢迎，哪些页面没有被蜘蛛触及。同时，我们可以发现一些Spider由于过度爬行而消耗了我们服务器上的大量资源，因此我们必须对其进行屏蔽。

　　二、如何下载日志以及日志设置的注意事项？

　　1、首先，我们的空间必须支持网站日志下载。这是非常重要的。在我们购买空间之前，首先要问清楚它是否支持网站日志下载，因为有服务。商家不提供此项服务。如果支持，空间后台一般都有日志WebLog日志下载功能，可以下载到根目录，通过FTP上传到本地。如果使用服务器，可以设置将日志文件下载到指定路径。

　　2、这里有一个非常重要的问题。网站 强烈建议将日志设置为每小时生成一次。小型企业网站和内容较少的页面可以设置为一天。它默认为一天。如果内容很多或者一个大站点设置为一天生成一次，那么一天只生成一个文件。这个文件会很大。有时，当计算机打开时，它会导致死机。如果你设置好了，你可以找到一个空间提供商来协调设置。

　　三、网站 日志分析。

　　1、 如果日志的后缀是log，我们用记事本打开。在格式中选择自动换行看起来很方便。同时使用搜索功能搜索BaiduSpider和Googlebot这两个蜘蛛。

　　例如：

　　百度蜘蛛 2012-03-13 00:47:10 W3SVC177 116.255.169.37 GET / – 80 – 220.181.5 1.144 百度蜘蛛最爱+(+ baidu /search/spider) 200 0 0 15256 197 265

　　谷歌机器人 2012-03-13 08:18:48 W3SVC177 116.255.169.37 GET /robots.txt – 80 – 222.186.24.26 Googlebot/2.1+(+ google /bot) 200 0 0 985 200 31

　　让我们分段解释

　　2012-03-13 00:47:10 蜘蛛爬行的日期和时间点；W3SVC177 这是机器码，这是唯一的，我们不用管它；116.255.169.37 这个IP地址是服务器的IP地址；GET 代表事件。GET后就是蜘蛛爬取的网站页面，斜杠代表首页，80是端口，220.181.51.144这个IP是蜘蛛的IP。在这里，海药SEO快速调度技术小编告诉你一个辨别真假百度蜘蛛的方法。点击电脑开始运行，输入cmd打开命令提示符。输入nslookup空间加上蜘蛛IP，点击回车。一般来说，真正的百度蜘蛛有自己的服务器IP，而假蜘蛛没有。

　　如果网站中有​​大量的假蜘蛛，说明有人冒充百度蜘蛛来采集你的内容，你需要注意，如果太猖獗，会占用你的服务器资源，我们需要阻止他们的IP。

　　200 0 0 这里是状态码。状态码的含义可以百度搜索；197 265的最后两位数字代表访问和下载的数据字节数。

　　2、 我们分析的时候，先看下状态码200下载成功，304未修改页面，500服务器超时。这些是一般的其他代码，你可以百度。我们必须处理不同的问题。

　　3、 我们想看看蜘蛛经常爬哪些页面，我们想记录下来，分析为什么经常被蜘蛛爬，分析蜘蛛喜欢的内容。

　　4、有时候我们的路径有无斜杠不一致，蜘蛛会自动识别为301跳转到有斜杠的页面，这里我们发现搜索引擎可以判断我们的目录，所以我们要统一我们的目录。

　　5、 我们分析日志很久了，可以看到蜘蛛的爬行规则。可以看到同一目录下单个文件的爬取频率间隔和不同目录下的爬取频率间隔。这些爬行的频率间隔是由蜘蛛根据网站权重和网站更新频率自动确定的。

　　6、 蜘蛛按层级顺序爬取我们的页面，按权重降序。一般顺序是首页、目录页、内页。

　　7、 不同IP的蜘蛛爬行频率不同

　　四、那么通过网站日志我们可以知道什么呢？

　　1、 我们发的外链有效吗？

　　2、 我们买的空间稳定吗？

　　3、 蜘蛛更喜欢我们的页面，他们不喜欢哪些页面？

　　4、蜘蛛什么时候经常爬我们的网站，我们什么时候需要更新内容？

　　总结：

　　所以无论是新网站还是老网站网站，无论你是百度还是谷歌，我们都可以通过网站日志来分析搜索引擎蜘蛛的抓取情况；如果网站长时间收录有问题，那我们也可以通过网站的日志对比搜索引擎蜘蛛的行为，了解网站出了什么问题；如果网站被阻塞或者K，我们都可以通过观察网站的日志来了解原因在哪里。我们想看的网站日志的分析诊断，就像给网站看病一样。通过对网站日志的分析，我们可以简单明了的知道网站的健康状态。，可以帮助我们做更好的网站优化，所以对于真正的SEO专家来说，

　　作者微信公众号“海药SEO”分享更多SEO优化知识

　　原来的：