Filebeat如何与Logstash配合在CentOS

在CentOS上配置Filebeat与Logstash配合使用步骤如下：

1. 安装组件：

   • 添加Elastic官方YUM仓库：

     sudo rpm --import https://artifacts.elastic.co/GPG-KEY-elasticsearch  
     sudo tee /etc/yum.repos.d/elasticsearch.repo <<EOF  
     [elasticsearch-7.x]  
     name=Elasticsearch repository for 7.x packages  
     baseurl=https://artifacts.elastic.co/packages/7.x/yum  
     gpgcheck=1  
     gpgkey=https://artifacts.elastic.co/GPG-KEY-elasticsearch  
     enabled=1  
     EOF  
     

   • 安装Logstash、Kibana（可选）：

     sudo yum install logstash kibana  
     sudo systemctl start elasticsearch && sudo systemctl enable elasticsearch  
     sudo systemctl start kibana && sudo systemctl enable kibana  
     

   • 安装Filebeat：

     sudo yum install filebeat  
     

2. 配置Filebeat：
   编辑 /etc/filebeat/filebeat.yml，设置输出到Logstash：

   filebeat.inputs:  
   - type: log  
     enabled: true  
     paths:  
       - /var/log/*.log  # 日志路径，可自定义  
   output.logstash:  
     hosts: ["localhost:5044"]  # Logstash地址及端口  
   

3. 配置Logstash：
   创建 /etc/logstash/conf.d/filebeat.conf，定义输入、过滤和输出：

   input {  
     beats {  
       port => 5044  
     }  
   }  
   filter {  
     # 示例：解析JSON格式日志（按需添加）  
     # if [type] == "json" {  
     #   json { source => "message" }  
     # }  
   }  
   output {  
     elasticsearch {  
       hosts => ["localhost:9200"]  
       index => "filebeat-%{+YYYY.MM.dd}"  
     }  
   }  
   

4. 启动服务：

   sudo systemctl start filebeat && sudo systemctl enable filebeat  
   sudo systemctl start logstash && sudo systemctl enable logstash  
   

5. 验证配置：

   • 检查服务状态：

     sudo systemctl status filebeat  
     sudo systemctl status logstash  
     

   • 查看Logstash日志确认数据接收：

     tail -f /var/log/logstash/logstash-plain.log  
     

   • 通过Kibana（http://localhost:5601）查看索引数据。

说明：

• 可根据实际需求修改日志路径、过滤规则及输出目标（如替换为其他存储）。
• 若需远程传输，将 localhost 替换为对应服务器IP，并确保防火墙放行端口（5044、9200等）。