CentOS下Filebeat与Logstash配合使用 - 问答

在CentOS系统下，Filebeat和Logstash可以配合使用，以实现日志的收集、处理和转发。以下是配置和使用这两个组件的基本步骤：

1. 安装Filebeat

首先，你需要在CentOS上安装Filebeat。你可以从Elastic官方网站下载最新版本的Filebeat，并按照官方文档进行安装。

wget https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-7.10.0-amd64.deb
sudo dpkg -i filebeat-7.10.0-amd64.deb

2. 配置Filebeat

安装完成后，你需要配置Filebeat以指定要收集的日志文件和发送日志的目标（即Logstash）。

编辑Filebeat配置文件 /etc/filebeat/filebeat.yml：

filebeat.inputs:
- type: log
  enabled: true
  paths:
    - /var/log/*.log

output.logstash:
  hosts: ["localhost:5044"]

在这个配置中，Filebeat会收集 /var/log/ 目录下的所有日志文件，并将它们发送到运行在 localhost 上的Logstash实例，监听端口为 5044。

3. 安装Logstash

接下来，安装Logstash。你可以从Elastic官方网站下载最新版本的Logstash，并按照官方文档进行安装。

wget https://artifacts.elastic.co/downloads/logstash/logstash-7.10.0-linux-x86_64.tar.gz
tar -xzf logstash-7.10.0-linux-x86_64.tar.gz
cd logstash-7.10.0

4. 配置Logstash

安装完成后，你需要配置Logstash以接收来自Filebeat的日志并进行处理。

创建一个新的Logstash配置文件 logstash.conf：

input {
  beats {
    port => 5044
  }
}

filter {
  # 在这里添加你的日志处理逻辑，例如解析JSON、提取字段等
  grok {
    match => { "message" => "%{COMBINEDAPACHELOG}" }
  }
}

output {
  # 输出到Elasticsearch或其他目标
  elasticsearch {
    hosts => ["localhost:9200"]
    index => "filebeat-%{+YYYY.MM.dd}"
  }
}

在这个配置中，Logstash会监听来自Filebeat的输入，使用 grok 过滤器解析日志，并将处理后的日志输出到Elasticsearch。

5. 启动Filebeat和Logstash

最后，启动Filebeat和Logstash服务：

sudo systemctl start filebeat
sudo systemctl enable filebeat

sudo systemctl start logstash
sudo systemctl enable logstash

6. 验证配置

确保Filebeat和Logstash都在运行，并且日志正在正确地从Filebeat传输到Logstash，然后从Logstash传输到Elasticsearch。

你可以使用以下命令检查Filebeat和Logstash的状态：

sudo systemctl status filebeat
sudo systemctl status logstash

此外，你可以访问Elasticsearch的Kibana界面（通常是 http://localhost:5601）来查看和分析日志数据。

通过以上步骤，你就可以在CentOS系统下成功配置和使用Filebeat与Logstash来处理日志数据了。

0 赞

0 踩