Filebeat如何与Logstash在CentOS上协同工作

在CentOS系统上，Filebeat和Logstash可以协同工作以实现日志的收集、处理和转发。以下是一个详细的步骤指南，帮助你在CentOS上配置Filebeat与Logstash协同工作：

1. 安装Filebeat和Logstash

首先，确保你的CentOS系统已经安装了Elastic Stack（包括Elasticsearch、Logstash和Kibana）。如果没有安装，可以参考Elastic官方文档进行安装。

安装Filebeat

sudo yum install filebeat

安装Logstash

sudo yum install logstash

2. 配置Filebeat

编辑Filebeat的配置文件，通常位于 /etc/filebeat/filebeat.yml。你需要指定输出插件为Logstash，并提供Logstash的地址和端口。

filebeat.inputs:
- type: log
  enabled: true
  paths:
    - /var/log/*.log

output.logstash:
  hosts:
    - "logstash_server_ip:5044"  # Logstash的地址和端口

将 logstash_server_ip 替换为你的Logstash服务器的实际IP地址。

3. 配置Logstash

编辑Logstash的配置文件，通常位于 /etc/logstash/conf.d/ 目录下。你需要创建一个新的配置文件，比如 filebeat.conf，并在其中定义输入、过滤和输出插件。

input {
  beats {
    port: 5044
  }
}

filter {
  # 在这里添加你的过滤器配置
  grok {
    match {
      "message" => "%{COMBINEDAPACHELOG}"
    }
  }
  date {
    match [
      "timestamp",
      "dd/MMM/yyyy:HH:mm:ss Z"
    ]
  }
}

output {
  elasticsearch {
    hosts [
      "elasticsearch_host:9200"
    ]
    index "filebeat-%{YYYY.MM.dd}"
  }
}

将 elasticsearch_host 替换为你的Elasticsearch服务器的实际IP地址。

4. 启动Filebeat和Logstash

配置完成后，启动Filebeat和Logstash服务并设置开机自启动。

sudo systemctl start filebeat
sudo systemctl enable filebeat
sudo systemctl start logstash
sudo systemctl enable logstash

5. 验证配置

确保Filebeat和Logstash都在运行，并且Filebeat能够成功地将日志发送到Logstash。你可以通过查看Filebeat和Logstash的日志文件来验证配置是否正确。

• Filebeat日志: /var/log/filebeat/filebeat
• Logstash日志: /var/log/logstash/logstash-plain.log

sudo journalctl -u filebeat -f
sudo journalctl -u logstash -f

6. 监控和调试

使用Kibana来监控和调试你的日志处理流程。确保Kibana已经连接到Elasticsearch，并且可以访问Filebeat和Logstash的数据。

通常，Kibana的默认地址是 http://localhost:5601。

通过以上步骤，你应该能够在CentOS上成功配置Filebeat与Logstash协同工作。如果有任何问题，请参考Elastic官方文档或寻求社区帮助。