Filebeat轻量级日志采集工具

　　Beats平台集成了多个单一用途的数据采集器. 安装后，这些采集器可用作轻量级代理，以将数以百计的计算机中的数据发送到Logstash或Elasticsearch.

　　1. 架构图

　　此实验基于先前的文章，我们需要基于先前的文章构建基本环境.

　　二，安装Filebeat

　　wget https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-6.0.1-x86_64.rpm

yum install ./filebeat-6.0.1-x86_64.rpm

　　vim /etc/filebeat/filebeat.yml # 主配置文件

\- type: log # 文档类型

paths:

\- /var/log/httpd/access.log* # 从哪里读入数据

# 输出在elasticsearch与logstash二选一即可

output.elasticsearch: #将数据输出到Elasticsearch。与下面的logstash二者选一

hosts: ["localhost:9200"]

output.logstash: # 将数据传送到logstash，要配置logstash使用beats接收

hosts: ["172.18.68.14:5044"]

　　systemctl start filebeat

　　三，配置Filebeat

　　vim /etc/logstash/conf.d/test.conf

input {

beats {

port => 5044 # *敏*感*词*5044用于接收Filebeat传来数据

}

}

filter {

grok {

match => {

"message" => "%{COMBINEDAPACHELOG}" # 匹配HTTP的日志

}

remove_field => "message" # 不显示原信息，仅显示匹配后

}

}

output {

elasticsearch {

hosts => ["http://172.18.68.11:9200","http://172.18.68.12:9200","http://172.18.68.13:9200"] # 集群IP

index => "logstash-%{+YYYY.MM.dd}"

action => "index"

document_type => "apache_logs"

}

}

　　 /usr/share/logstash/bin/logstash -f /etc/logstash/conf.d/test.conf

　　四个. 模拟日志访问

　　使用curl命令模拟客户访问并生成访问日志

　　curl 127.0.0.1

curl 172.18.68.51

curl 172.18.68.52

curl 172.18.68.53

　　五，验证信息

　　清除上一个实验的旧数据（删除时必须在对话框中输入delete），然后您才能看到通过Logtash过滤并发送到Elasticsearch的filebeat采集的数据.

　　扩展名

　　随着ELK日志系统的逐步升级，现在可以基于Filebeat采集每个节点的日志，使用Logstash过滤和修剪数据，最后转到ELasticsearch进行索引构建，分词和搜索引擎施工. 现在，您可以基于Elasticsearch的Head视图在浏览器中查看它，但是Head的简单视图对数据分析和良好的显示效果无效. 如果要执行数据分析并具有良好的显示效果，则需要使用Kibana. Kibana仍将在下一篇文章中进行解释，这是架构图.