seo网站日志分析工具(网站日志分析的一些事项有哪些？如何下载蜘蛛)

　　seo网站日志分析工具(网站日志分析的一些事项有哪些？如何下载蜘蛛)

　　每个做SEO的站长都应该基本分析一下网站日志的能力。因为通过网站的日志，我们可以分析搜索引擎蜘蛛的动态，用户访问的动态，以及发现哪些链接网站异常。

　　网站日志的分析和诊断，就像给网站看病一样。通过对网站日志的分析，我们可以更清楚地了解网站的健康状况。促进这些数据使我们能够更好地网站SEO 优化。让我告诉你一些关于日志分析的事情：

　　常见蜘蛛名称：

　　Baiduspider;Baiduspider-Image;Googlebot;Googlebot-Image;360Spider;搜狗蜘蛛。

　　一、网站 日志的重要作用？

　　1、通过网站日志，您可以了解网站蜘蛛的基本爬行状态，可以知道蜘蛛的爬行轨迹和爬行量，通过我们的网站日志、外链数量和网站蜘蛛的爬取量有直接影响。我们所说的链接诱饵是，如果你制作了外链，蜘蛛正在抓取外链页面，当页面发布时，蜘蛛可以通过你留下的链接抓取你的网站，而网站 日志会记录蜘蛛的这次爬行动作。

　　2、网站的更新频率也与网站日志中蜘蛛的爬行频率有关。一般来说，更新频率越高，蜘蛛爬取的频率就越高，而我们对网站的更新不仅仅是新内容的加入，也是我们的微调操作。

　　3、 我们可以根据网站的日志中的反应，对我们空间中的某些事情和问题进行预警，因为如果服务器有问题，它会在日志中网站 会在第一时间反映出来。要知道服务器的恒定速度和打开速度会直接影响我们的网站。

　　4、 通过网站日志，我们可以知道网站的那些页面很受蜘蛛欢迎，哪些页面没有被蜘蛛触及。同时，我们仍然可以发现有些蜘蛛由于过度爬取，消耗了我们大量的服务器资源，需要我们进行屏蔽工作。

　　二、如何下载日志以及日志设置的注意事项？

　　1、首先，我们的空间必须支持网站日志下载。这是非常重要的。在我们购买空间之前，首先要问清楚它是否支持网站日志下载，因为有些服务商不提供这个服务。如果支持，空间后台一般都有日志WebLog日志下载功能，可以下载到根目录，然后用FTP上传到本地。对于服务器，可以设置下载日志文件。到指定路径。

　　2、 这是一个非常重要的问题。 网站 强烈建议将日志设置为每小时生成一次。小型企业站点和页面内容网站可以设置为一天。 , 默认为一天。如果内容很多或者一个大站点设置为一天生成一次，那么一天只会生成一个文件。这个文件会很大。有时，当计算机打开时，它会导致死机。如果你设置好了，你可以找到一个空间提供商来协调设置。 .

　　三、网站 日志分析。

　　1、 日志的后缀是log。我们用记事本打开它。在格式中选择自动换行似乎很方便。同时使用搜索功能搜索百度Spider和Googlebot这两个蜘蛛。

　　例如：

　　百度蜘蛛 2012-03-13 00:47:10 W3SVC177 116.255.169.37 GET / – 80 – 220.181.51.144 百度蜘蛛-favo+ (+ baidu /search/spider) 200 0 0 15256 197 265

　　谷歌机器人 2012-03-13 08: 18: 48 W3SVC177 116.255.169.37 GET /robots.txt – 80 – 222.18 6.24.26 Googlebot/2.1+（+ google /bot) 200 0 0 985 200 31

　　我们将分节说明

　　2012-03-13 00:47:10 蜘蛛爬行的日期和时间点； W3SVC177 这是机器码，这是唯一的，我们不用管它； 116.255.16 9.37 这个IP地址是服务器的IP地址； GET代表事件，GET之后就是蜘蛛爬取的网站页面，斜杠代表首页，80代表端口，220.181.51.144 这个IP就是蜘蛛的IP，这里给大家一个快速辨别百度蜘蛛真假的方法，我们电脑点击启动输入cmd打开命令在提示符下输入nslookup空格加上蜘蛛IP，然后单击Enter。一般来说，真正的百度蜘蛛有自己的服务器IP，而假蜘蛛没有。

　　如果网站中有​​大量的假蜘蛛，说明有人冒充百度蜘蛛采集你的内容，需要注意。如果太霸道，会占用你的服务器。资源，我们需要屏蔽他们的IP。

　　200 0 0 这里是状态码。状态码的含义可以百度搜索； 197 265的后两位代表要访问和下载的数据字节数。

　　2、 我们分析的时候，先看状态码200下载成功，304未修改页面，500服务器超时。这些是一般的其他代码，你可以百度。对于差异，我们需要处理。

　　3、我们要看看蜘蛛经常爬哪些页面，需要记录下来，分析为什么经常被蜘蛛爬，分析蜘蛛喜欢的内容。

　　4、有时候我们的路径不统一，有没有斜线都有问题。蜘蛛会自动将其识别为 301 跳转到带有斜杠的页面。这里我们发现搜索引擎是可以判断我们的目录的，所以我们要统一我们的目录。