seo网站日志分析工具( 百度访问日志还需要区分真假蜘蛛吗？（一）)

　　seo网站日志分析工具(

百度访问日志还需要区分真假蜘蛛吗？（一）)

　　网站维护者，为了避免来自网站服务器的攻击；SEO人员，为了判断搜索引擎爬虫访问网站的情况，不得不分析网站日志。但是我从网站的日志中得到的原创数据总是一团糟。得到原创数据后我们应该做什么？

　　登录“FTP”账号，链接网站数据，找到网站日志文件夹。（注：一般网站日志所在的文件夹和网站文件是一样的，收录log这个词。少数情况下，站点日志文件夹位于站点根目录下目录。 ）

　　打开文件夹并下载压缩的日志文件！（下载方法很简单，选择文件直接拖到电脑桌面，然后在左下角的下载目录中浏览文件，然后右击“传输队列！”）

　　解压下载的日志文件，然后将解压文件的后缀改为“TXT”

　　创建一个新的 EXCEL 表格并打开它！在顶部工具栏上找到数据工具

　　单击“导入数据”，默认为“直接打开数据文件”，然后选择“选择数据源”。

　　默认“其他编码”和“下一步”；

　　选择“分隔符”和“下一步”；

　　勾选所有选项，然后选择“下一步”；

　　接下来，只需保留所需的数据项。删除不需要的数据项！（如图所示，只保留了数据分析所需的访问者IP、访问文件、访问状态码、访问者姓名这四个数据。）

　　选择一整列访问者姓名，然后单击“开始”列中的过滤工具

　　点击“访客姓名”栏顶部的三角形下拉按钮；

　　取消“全选”，找到百度蜘蛛的访问者姓名，选择并确认；

　　如图，我们可以得到百度蜘蛛访问网站的所有数据。

　　百度蜘蛛：百度蜘蛛谷歌爬虫：谷歌机器人360爬虫：360蜘蛛谷歌爬虫：bingbot搜索爬虫：sogounewsspider

　　您也可以在服务器/主机管理面板中下载网站 日志。百度访问日志也需要区分真假蜘蛛。并不是所有的蜘蛛都是真正的百度蜘蛛，比如站长工具虚拟蜘蛛。