CentOS中Filebeat与Logstash如何配合

在CentOS系统中，Filebeat和Logstash是两个常用的日志处理工具。Filebeat负责收集日志并将其发送到Logstash进行进一步处理。以下是它们之间的配合方式：

1. 安装Filebeat和Logstash

首先，确保你已经在CentOS上安装了Filebeat和Logstash。你可以使用以下命令进行安装：

# 安装EPEL仓库
sudo yum install epel-release

# 安装Filebeat
sudo yum install filebeat

# 安装Logstash
sudo yum install logstash

2. 配置Filebeat

编辑Filebeat的配置文件/etc/filebeat/filebeat.yml，设置输出到Logstash。以下是一个基本的配置示例：

filebeat.inputs:
- type: log
  enabled: true
  paths:
    - /var/log/*.log

output.logstash:
  hosts: ["localhost:5044"]

在这个配置中，Filebeat会收集/var/log/*.log目录下的所有日志文件，并将它们发送到运行在本地端口5044的Logstash实例。

3. 配置Logstash

编辑Logstash的配置文件/etc/logstash/conf.d/filebeat.conf，定义如何处理从Filebeat接收到的日志数据。以下是一个基本的配置示例：

input {
  beats {
    port => 5044
  }
}

filter {
  # 根据需要添加过滤器
  grok {
    match => { "message" => "%{COMBINEDAPACHELOG}" }
  }
  date {
    match => [ "timestamp", "dd/MMM/yyyy:HH:mm:ss Z" ]
  }
}

output {
  elasticsearch {
    hosts => ["localhost:9200"]
    index => "filebeat-%{+YYYY.MM.dd}"
  }
}

在这个配置中，Logstash会监听端口5044上的Beats输入，使用Grok过滤器解析日志，然后将其发送到Elasticsearch。

4. 启动服务

启动Filebeat和Logstash服务：

sudo systemctl start filebeat
sudo systemctl enable filebeat

sudo systemctl start logstash
sudo systemctl enable logstash

5. 验证配置

确保Filebeat和Logstash都在运行，并且日志数据正在正确传输。你可以使用以下命令检查日志：

# 检查Filebeat日志
sudo journalctl -u filebeat -f

# 检查Logstash日志
sudo journalctl -u logstash -f

6. 监控和调试

如果遇到问题，可以使用以下命令查看Filebeat和Logstash的状态：

sudo systemctl status filebeat
sudo systemctl status logstash

此外，你还可以查看Elasticsearch中的索引和文档，以确保数据正在正确存储：

curl -X GET "localhost:9200/_cat/indices?v"
curl -X GET "localhost:9200/filebeat-*/_search?pretty"

通过以上步骤，你可以在CentOS系统中成功配置Filebeat和Logstash，实现日志数据的收集和处理。