在Ubuntu上配置和监控Kafka涉及多个步骤和策略。以下是一些关键的配置要点和监控策略:
安装和配置Zookeeper:
zoo.cfg
配置文件,设置dataDir
和dataLogDir
为Zookeeper的数据和日志存储路径,设置clientPort
为Zookeeper的客户端连接端口(默认为2181)。安装Java:
sudo apt update
sudo apt install openjdk-8-jdk
下载和解压Kafka:
tar -zxvf kafka_2.13-3.5.2.tgz -C /opt
配置Kafka:
/opt/kafka_2.13-3.5.2/config
。server.properties
文件,设置以下关键配置项:
broker.id
:每个Kafka broker的唯一标识符。listeners
:Kafka监听的地址和端口。advertised.listeners
:对外暴露的地址和端口。log.dirs
:Kafka日志存储的目录。zookeeper.connect
:Zookeeper的连接字符串。环境变量配置:
/etc/profile
或/.bashrc
文件,添加Kafka和Zookeeper的环境变量:export KAFKA_HOME=/opt/kafka_2.13-3.5.2
export PATH=$KAFKA_HOME/bin:$PATH
export ZOOKEEPER_HOME=/path/to/zookeeper
export PATH=$ZOOKEEPER_HOME/bin:$PATH
source /etc/profile
启动Kafka和Zookeeper:
/opt/kafka_2.13-3.5.2/bin/zookeeper-server-start.sh /opt/kafka_2.13-3.5.2/config/zookeeper.properties
/opt/kafka_2.13-3.5.2/bin/kafka-server-start.sh /opt/kafka_2.13-3.5.2/config/server.properties
验证配置:
netstat -tulnp | grep 9092
/opt/kafka_2.13-3.5.2/bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test
/opt/kafka_2.13-3.5.2/bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test
/opt/kafka_2.13-3.5.2/bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic test --from-beginning
防火墙配置:
sudo ufw allow 9092
sudo ufw allow 2181
日志管理:
/opt/kafka_2.13-3.5.2/log
目录下。安全性配置:
JMX监控:
第三方监控工具:
自定义监控脚本:
Grafana看板:
Prometheus告警规则:
通过以上配置和监控策略,可以在Ubuntu上成功部署和监控Kafka集群,确保其稳定性和高性能。