Ubuntu Kafka集群如何搭建与配置 - 问答

搭建和配置Ubuntu上的Kafka集群需要以下几个步骤：

1. 安装JDK

首先，需要在每台服务器上安装JDK。

# 解压tar
tar -zxvf jdk-8u341-linux-x64.tar.gz
# 移动目录
mv jdk1.8.0_341 /usr/local/java
# 配置环境变量
vim /etc/profile
export JAVA_HOME=/usr/local/java
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH
# 生效环境变量
source /etc/profile

2. 安装ZooKeeper

在每台服务器上安装ZooKeeper。

# 下载并安装ZooKeeper
cd /soft
wget https://archive.apache.org/dist/zookeeper/zookeeper-3.8.4/apache-zookeeper-3.8.4-bin.tar.gz
tar -zxvf apache-zookeeper-3.8.4-bin.tar.gz
mv apache-zookeeper-3.8.4-bin /usr/local/zookeeper
# 设置环境变量
vim /etc/profile
export ZOOKEEPER_HOME=/usr/local/zookeeper
export PATH=$ZOOKEEPER_HOME/bin:$PATH
# 生效环境变量
source /etc/profile
# 修改zoo.cfg文件
cd /usr/local/zookeeper/config
cp zoo_sample.cfg zoo.cfg
vim zoo.cfg
# 设置集群节点
tickTime=2000
initLimit=10
syncLimit=5
dataDir=/data/zookeeper/data
clientPort=2181
dataLogDir=/data/zookeeper/log
server.1=192.168.124.171:2888:3888
server.2=192.168.124.172:2888:3888
server.3=192.168.124.173:2888:3888
# 创建目录和myid
mkdir -p /data/zookeeper/data
echo 1 > /data/zookeeper/data/myid

3. 启动ZooKeeper

在每台服务器上启动ZooKeeper。

./bin/zookeeper-server-start.sh config/zookeeper.properties &

4. 启动Kafka

在每台服务器上启动Kafka。

./bin/kafka-server-start.sh config/server.properties &

5. 创建Kafka Topic

创建一个名为’test’的Topic。

./bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test

6. 验证安装

创建消息的生产者和消费者来验证安装是否成功。

# 创建消息的生产者
./bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test
# 输入消息
> this is the first message sent via Kafka
> this is the second message sent via Kafka
# 创建消息的消费者
./bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --from-beginning

通过以上步骤，你就可以在Ubuntu上成功搭建和配置一个Kafka集群。

0 赞

0 踩