CentOS中Filebeat与Elasticsearch集成

在CentOS系统中，将Filebeat与Elasticsearch集成可以帮助你收集、处理和存储日志数据。以下是详细的步骤指南：

1. 安装Elasticsearch

首先，确保你已经安装了Elasticsearch。如果还没有安装，可以按照以下步骤进行：

# 下载Elasticsearch
wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-7.10.2-linux-x86_64.tar.gz

# 解压
tar -xzf elasticsearch-7.10.2-linux-x86_64.tar.gz

# 移动到合适的位置
mv elasticsearch-7.10.2 /usr/local/elasticsearch

# 配置Elasticsearch
cd /usr/local/elasticsearch
vim config/elasticsearch.yml

# 确保以下配置项正确
cluster.name: my-application
node.name: node-1
network.host: 0.0.0.0
http.port: 9200

2. 启动Elasticsearch

cd /usr/local/elasticsearch
./bin/elasticsearch

3. 安装Kibana（可选）

Kibana是一个用于可视化Elasticsearch数据的Web界面。如果你需要使用Kibana，可以按照以下步骤安装：

# 下载Kibana
wget https://artifacts.elastic.co/downloads/kibana/kibana-7.10.2-linux-x86_64.tar.gz

# 解压
tar -xzf kibana-7.10.2-linux-x86_64.tar.gz

# 移动到合适的位置
mv kibana-7.10.2 /usr/local/kibana

# 配置Kibana
cd /usr/local/kibana
vim config/kibana.yml

# 确保以下配置项正确
server.host: "0.0.0.0"
elasticsearch.hosts: ["http://localhost:9200"]

4. 启动Kibana（可选）

cd /usr/local/kibana
./bin/kibana

5. 安装Filebeat

# 下载Filebeat
wget https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-7.10.2-linux-x86_64.tar.gz

# 解压
tar -xzf filebeat-7.10.2-linux-x86_64.tar.gz

# 移动到合适的位置
mv filebeat-7.10.2 /usr/local/filebeat

# 配置Filebeat
cd /usr/local/filebeat
vim filebeat.yml

# 确保以下配置项正确
filebeat.inputs:
- type: log
  enabled: true
  paths:
    - /var/log/*.log

output.elasticsearch:
  hosts: ["localhost:9200"]

6. 启动Filebeat

cd /usr/local/filebeat
./filebeat modules enable system
./filebeat setup
./bin/filebeat -e -c filebeat.yml

7. 验证集成

打开浏览器，访问 http://<your_server_ip>:5601，如果安装了Kibana，你应该能够看到Kibana的界面。如果没有安装Kibana，你可以直接使用Elasticsearch的REST API来验证数据是否已经成功发送到Elasticsearch。

curl -X GET "localhost:9200/_cat/indices?v"

你应该能够看到Filebeat发送的日志数据索引。

8. 配置防火墙（可选）

如果你启用了防火墙，确保开放Elasticsearch和Kibana的端口：

# 开放Elasticsearch端口
firewall-cmd --permanent --zone=public --add-port=9200/tcp
firewall-cmd --reload

# 开放Kibana端口（如果安装了Kibana）
firewall-cmd --permanent --zone=public --add-port=5601/tcp
firewall-cmd --reload

通过以上步骤，你应该能够在CentOS系统中成功集成Filebeat与Elasticsearch。