CentOS Filebeat与Logstash配合使用指南

在CentOS上配置Filebeat与Logstash配合使用涉及几个主要步骤，包括安装Filebeat、配置Filebeat以及启动Filebeat服务。以下是详细的步骤指南：

安装Elastic Stack

首先，你需要安装Elasticsearch、Logstash和Kibana。你可以使用Elastic官方提供的RPM包来安装这些组件。

# 安装Elasticsearch
sudo yum install https://artifacts.elastic.co/packages/7.x/yum/repository.gpgs
sudo rpm --import https://artifacts.elastic.co/GPG-KEY-elasticsearch
sudo yum install elasticsearch

# 安装Logstash
sudo yum install logstash

# 安装Kibana
sudo yum install kibana

启动Elasticsearch、Logstash和Kibana

sudo systemctl start elasticsearch
sudo systemctl enable elasticsearch
sudo systemctl start logstash
sudo systemctl enable logstash
sudo systemctl start kibana
sudo systemctl enable kibana

配置Filebeat

安装完成后，你需要配置Filebeat以指定要收集的数据类型和目标。Filebeat的配置文件通常位于 /etc/filebeat/filebeat.yml。

filebeat.inputs:
- type: log
  enabled: true
  paths:
    - /var/log/*.log

output.logstash:
  hosts:
    - "localhost:5044"

在这个配置中，Filebeat会读取 /var/log/*.log 目录下的所有日志文件，并将它们发送到本地的Logstash实例（监听端口5044）。

配置Logstash

Logstash是一个强大的数据处理管道，它可以接收来自Filebeat的日志数据，进行处理，并将其发送到Elasticsearch。

编辑Logstash配置文件，创建一个新的配置文件 /etc/logstash/conf.d/filebeat.conf：

input {
  beats {
    port  5044
  }
}

filter {
  # 在这里添加你的过滤器配置
  # 例如，解析JSON日志
  if [type]  "json" {
    json {
      source  "message"
    }
  }
}

output {
  elasticsearch {
    hosts  [ "localhost:9200" ]
    index  "filebeat- %{YYYY.MM.dd} "
  }
}

在这个配置中，Logstash会接收来自Filebeat的数据，应用过滤器（如果有的话），然后将数据发送到Elasticsearch。

验证配置

检查Filebeat和Logstash的状态以确保它们正在运行：

sudo systemctl status filebeat
sudo systemctl status logstash

查看日志

你可以通过Kibana的Web界面查看和分析日志数据。打开浏览器并访问 http://your_server_ip:5601，然后登录Kibana。

通过以上步骤，你应该能够在CentOS上成功配置Filebeat与Logstash配合使用。如果有任何问题，请检查各个组件的日志文件以获取更多信息。