在Ubuntu上配置Kafka时,有几个关键的注意事项需要考虑,以确保Kafka集群的稳定性和性能。以下是详细的配置步骤和注意事项:
sudo apt install openjdk-8-jdk
java -version
wget https://archive.apache.org/dist/zookeeper/zookeeper-3.4.6/zookeeper-3.4.6.tar.gz
tar xvf zookeeper-3.4.6.tar.gz
sudo mv zookeeper-3.4.6 /usr/local/zookeeper
/usr/local/zookeeper/conf/zoo.cfg
文件,设置数据目录和日志目录。tickTime=2000
dataDir=/usr/local/zookeeper/data
dataLogDir=/usr/local/zookeeper/datalog
sudo /usr/local/zookeeper/bin/zkServer.sh start
wget https://downloads.apache.org/kafka/3.5.2/kafka_2.12-3.5.2.tgz
tar -xzvf kafka_2.12-3.5.2.tgz
sudo mv kafka_2.12-3.5.2 /usr/local/kafka
/usr/local/kafka/config/server.properties
文件,设置 broker ID、Zookeeper 地址等。broker.id=0
listeners=PLAINTEXT://your_server_ip:9092
zookeeper.connect=localhost:2181
log.dirs=/tmp/kafka
/etc/netplan/
目录下的配置文件中正确设置IP地址、子网掩码、网关和DNS。network:
version: 2
renderer: networkd
ethernets:
eth0:
dhcp4: no
addresses: [Your_Static_IP/Netmask]
gateway4: Your_Gateway_IP
nameservers:
addresses: [DNS_Server_IPs]
sudo ufw allow 9092
sudo ufw allow 2181
多节点配置:如果配置Kafka集群,确保每台机器上的 server.properties
文件中的 broker.id
和 listeners
配置不同。
Zookeeper集群:在多台机器上配置Zookeeper集群,确保每台机器的 zoo.cfg
文件中的 server.X
配置正确,并启动Zookeeper服务。
ufw
或 iptables
进行配置。