seo网站日志分析工具(常见的日志分析工具，维度太少，无法定制，效率低下)

　　seo网站日志分析工具(常见的日志分析工具，维度太少，无法定制，效率低下)

　　常见的日志分析工具功能太少，维度太少，无法定制。他们只能分析某些特定格式的日志，效率低下。超大日志需要很长时间或根本无法分析。很多日志分析工具一次只能列出所有的数据，无法看到一段时间内数据的变化。日志分析应该是自动化的。在学习shell的过程中，我们也考虑了使用shell自动分析日志的问题。

　　shell处理日志的详细命令请参考使用shell进行日志分析

　　1.自动运行

　　shell 脚本只需要将所有命令放在一个文本中。windows和linux都可以实现sh脚本的定时操作（具体方法请自行搜索）

　　2.日志获取

　　2.1shell可以登录ftp下载文件。您只需要将下载的日志文件名存储在固定文本中。下载时，比较现有的文件名，下载新的日志文件。具体步骤是登录ftp--->进入固定目录----->获取所有文件名----->比较新文件名---->下载。

　　3.数据存储

　　将需要长期监测的数据放入csv文件，每天一行，用excel打开或另存为excel，即可轻松生成图表。（当然也可以保存数据库，推荐使用csv，简单有效）

　　4.数据采集

　　更简单的方法是编写一个命令来获取您需要的每个数据。直接存储第一个数据（使用>），将后续数据附加（使用>>）到同一个文本文件中，然后添加每日数据。到固定csv文件的末尾（awk'{printf $0}'可以直接把纵向数据改为横向）

　　5. 周报问题（若与日报要求的数据不同）

　　创建一个单独的脚本，每 7 天和 30 天运行一次，以自动分析前 7 天和前 30 天的所有日志。从2中存储的下载的日志文件名的文本中，可以提取最近7天或30天的日志文件名，然后进行分割。分析（与日常日志分析相比，就是提取前7天的日志文件名，然后从cat 1变为cat 1,2,3,4,5,6,7)

　　以上在个人windows系统上也比较容易实现。从现在开始，您可以轻松采集网站每天的跑步数据。

　　添加：

　　csv格式示例

　　日期

　　Bd 获取

　　xx目录抓取次数

　　蜘蛛404

　　xxx

　　日期

　　10000

　　1000

　　100

　　1024

　　日期

　　11000

　　1100

　　2000年

　　1024

　　存储数据后，也可以用awk比较最近两天的变化率，如果超过就执行xxxx方法，比如在桌面输出一个名为“警告！dd数xxx数据波动”的文本文件.

　　脚本最好直接放在服务器上执行，不同的数据可以做成多个csv文件，定时自动发邮件给相关人员。

　　缺点是中间过程中的很多数据可能需要存放在一个临时文件中，然后用下一个命令读取。过程比较繁琐，重复操作比较多。建议能力强的成员使用程序来实现。搞seo最重要的就是和程序员打好基础，提出正确的要求，让程序员和朋友去实现才是王道。