seo网站日志分析工具(一个网站日志的案例:日志代码解读从日志文件当中)

　　seo网站日志分析工具(一个网站日志的案例:日志代码解读从日志文件当中)

　　1、200码，表示蜘蛛爬行正常

　　2、404代码，访问的链接是错误的链接

　　3、301 代码，永久重定向

　　4、302代码，表示临时重定向

　　5、304代码，客户端执行了GET，但是文件没有变化。

　　6、500代码，表示网站内部程序或服务器错误

　　接下来，我列出一个 网站 日志的示例：

　　对于日志的含义，可以查看网站日志中各个数据的含义。简而言之，这个文件是对某天网站发生的一些行为的记录。当我们得到这样的网站日志时，我们可以通过分析日志文件来查看我们的日志，解决网站的问题；

　　三、日志代码解读

　　从日志文件中可以解读出两部分：

　　1、搜索引擎爬取

　　从日志文件中可以看到，搜索引擎爬取了一些404页面和低质量的重载页面（噪音行为）

　　备注：通过nslookup ip可以识别spider的真假

　　/date-2016-01.html（低质量重型页面）

　　/author-1.html（低质量重载页面）

　　/downloads/（低质量页面）

　　/contact.html（死链接），但是这里有问题，这个页面返回的状态码是200而不是404，但是页面跳转到了404页面，从中可以发现肯定有问题服务器设置；

　　所以，当我们有一些我们不希望它们被抓取的页面时，我们需要在 robots.txt 中指定。标准化机器人的一个重要手段是 robots.txt。爬虫修正​​，让爬虫在我的详情页上花费更多的精力。

　　2、用户访问权限网站

　　关于用户网站的访问，我们主要分析用户访问网站的行为轨迹和用户属性，这里不再赘述。

　　版权归作者所有。

　　商业转载请联系作者授权，非商业转载请注明出处。