在Ubuntu上配置Kafka环境时,有几个关键的技巧和步骤需要注意,以确保Kafka能够稳定、高效地运行。以下是一些建议和步骤:
安装Java环境:Kafka是用Java编写的,因此需要安装Java运行时环境(JRE)。推荐安装OpenJDK 8或更高版本。
sudo apt update
sudo apt install openjdk-8-jdk
java -version
安装Zookeeper:Kafka依赖于Zookeeper进行集群管理和元数据存储。需要安装并配置Zookeeper。
wget https://archive.apache.org/dist/zookeeper/zookeeper-3.4.14/zookeeper-3.4.14.tar.gz
tar -xzvf zookeeper-3.4.14.tar.gz -C /opt
cd /opt/zookeeper-3.4.14
cp zoo_sample.cfg zoo.cfg
vi zoo.cfg
# 编辑dataDir和dataLogDir
vi /etc/profile
export ZOOKEEPER_HOME=/opt/zookeeper-3.4.14
export PATH=$PATH:$ZOOKEEPER_HOME/bin
source /etc/profile
./bin/zkServer.sh start
下载和解压Kafka:从Apache Kafka官网下载Kafka的tar.gz安装包,解压到指定目录。
wget https://downloads.apache.org/kafka/3.5.2/kafka_2.12-3.5.2.tgz
tar -xzvf kafka_2.12-3.5.2.tgz -C /opt
cd /opt/kafka_2.12-3.5.2
配置Kafka:进入Kafka的配置目录/opt/kafka_2.12-3.5.2/config
,编辑server.properties
文件,设置以下关键配置项:
broker.id=0
listeners=PLAINTEXT://your.local.ip:9092
advertised.listeners=PLAINTEXT://your.public.ip:9092
log.dirs=/data/kafka/logs
zookeeper.connect=localhost:2181
/etc/profile
或~/.bashrc
文件,添加Kafka和Zookeeper的环境变量:export KAFKA_HOME=/opt/kafka_2.12-3.5.2
export PATH=$PATH:$KAFKA_HOME/bin
export ZOOKEEPER_HOME=/opt/zookeeper-3.4.14
export PATH=$PATH:$ZOOKEEPER_HOME/bin
source /etc/profile
/opt/zookeeper-3.4.14/bin/zkServer.sh start
/opt/kafka_2.12-3.5.2/bin/kafka-server-start.sh /opt/kafka_2.12-3.5.2/config/server.properties
netstat -tulnp | grep 9092
/opt/kafka_2.12-3.5.2/bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test
/opt/kafka_2.12-3.5.2/bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test
/opt/kafka_2.12-3.5.2/bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --from-beginning
sudo ufw allow 9092
sudo ufw allow 2181
sudo ufw reload
/data/kafka/logs
目录下。通过以上步骤,可以在Ubuntu上成功配置Kafka,并确保其正常运行。根据具体需求,可能还需要进行更多的高级配置,如集群搭建、安全设置等。