Filebeat在CentOS中的使用案例

以下是Filebeat在CentOS中的典型使用案例，涵盖安装、配置及验证全流程：

一、基础安装与配置

1. 安装Filebeat

   • YUM安装（推荐）：

     sudo yum install epel-release
     sudo yum install filebeat
     

   • RPM包安装：

     wget https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-8.6.2-x86_64.rpm
     sudo rpm -ivh filebeat-8.6.2-x86_64.rpm
     

2. 配置日志采集
   编辑配置文件 /etc/filebeat/filebeat.yml，指定日志路径和输出目标：

   filebeat.inputs:
   - type: log
     enabled: true
     paths:
       - /var/log/nginx/access.log
       - /var/log/nginx/error.log
   output.elasticsearch:
     hosts: ["localhost:9200"]
     index: "nginx-logs-%{+yyyy.MM.dd}"
   

   • 说明：
     • paths：指定要采集的日志文件路径，支持通配符（如/var/log/*.log）。
     • output.elasticsearch：配置Elasticsearch地址，可添加认证信息（如用户名、密码）。

二、模块化配置（以Nginx为例）

1. 启用Nginx模块

   sudo filebeat modules enable nginx
   

2. 修改模块配置
   编辑 /etc/filebeat/modules.d/nginx.yml，指定Nginx日志路径：

   - module: nginx
     access:
       var.paths: ["/var/log/nginx/access.log"]
     error:
       var.paths: ["/var/log/nginx/error.log"]
   

3. 重新加载配置

   sudo filebeat setup
   sudo systemctl restart filebeat
   

三、日志发送至Kibana可视化

1. 配置Kibana连接
   在 filebeat.yml 中添加Kibana地址：

   setup.kibana:
     host: "localhost:5601"
   

2. 启动Kibana并查看日志
   • 确保Kibana已安装并运行，访问 http://localhost:5601。
   • 在Kibana中搜索 nginx-logs-* 索引，可查看Nginx访问和错误日志的可视化图表。

四、高级场景：日志过滤与处理

1. 添加处理器（如删除敏感字段）
   在 filebeat.yml 中配置 processors：

   processors:
   - drop_fields:
       fields: ["user_password", "credit_card"]
   

   • 说明：删除日志中的敏感字段，避免存储隐私数据。
2. 多输出目标（同时发送至Elasticsearch和Logstash）

   output.elasticsearch:
     hosts: ["localhost:9200"]
   output.logstash:
     hosts: ["localhost:5044"]
   

   • 说明：日志会同时发送到Elasticsearch和Logstash，适用于需要复杂解析的场景。

五、服务管理与监控

1. 查看服务状态

   sudo systemctl status filebeat
   

2. 查看日志输出

   sudo journalctl -u filebeat -f
   

3. 监控性能指标
   • 启用Filebeat的HTTP监控端点（需在配置中添加 http.enabled: true）。
   • 使用Prometheus+Grafana抓取指标并可视化。

六、注意事项

• 权限问题：确保Filebeat有权限读取日志文件（可通过 sudo chown -R filebeat:filebeat /var/log/nginx 设置）。
• 防火墙：开放Elasticsearch端口（默认9200）和Kibana端口（默认5601）。
• 版本兼容性：Filebeat与Elasticsearch/Kibana需使用相同大版本（如均使用8.x版本）。

通过以上步骤，可在CentOS上快速部署Filebeat，实现日志的集中采集、处理与可视化分析。