CentOS下Filebeat与Kafka集成实践

在CentOS下将Filebeat与Kafka集成，通常用于日志的集中收集和转发。以下是一个基本的集成实践步骤：

1. 部署Filebeat

• 下载并解压Filebeat：

wget https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-6.6.0-linux-x86_64.tar.gz
tar -xzf filebeat-6.6.0-linux-x86_64.tar.gz
cd filebeat-6.6.0

• 修改Filebeat配置文件 (filebeat.yml):

filebeat.inputs:
- type: log
  paths:
    - /var/log/nginx/access.log

output.kafka:
  hosts: ["kafka:9092"]
  topic: 'nginx_access_logs'
  compression: gzip
  max_message_bytes: 1000000

• 启动Filebeat：

./filebeat -e -c filebeat.yml

2. 部署Kafka

• 下载并解压Kafka：

wget https://downloads.apache.org/kafka/2.8.1/kafka_2.12-2.8.1.tgz
tar -xzf kafka_2.12-2.8.1.tgz
cd kafka_2.12-2.8.1

• 配置Zookeeper (zookeeper.properties):

dataDir=/tmp/zookeeper
clientPort=2181

• 配置Kafka (server.properties):

log.dirs=/tmp/kafka
zookeeper.connect=localhost:2181

• 启动Zookeeper和Kafka：

./bin/zookeeper-server-start.sh config/zookeeper.properties
./bin/kafka-server-start.sh config/server.properties

3. 验证集成

• 创建Kafka Topic：

./bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic nginx_access_logs

• 使用kafkacat验证消息：

kafkacat -C -b localhost:9092 -t nginx_access_logs

4. 安全性和优化配置

• 关闭SELinux：

setenforce 0

• 关闭防火墙：

systemctl stop firewalld
systemctl disable firewalld

• Filebeat配置认证（如果需要）：

在filebeat.yml中添加Kafka认证信息：

output.kafka.username: your_username
output.kafka.password: your_password
output.kafka.sasl.mechanism: PLAIN

参考资料