centos kafka集群搭建

在CentOS上搭建Kafka集群涉及多个步骤，包括安装Java、配置Zookeeper和Kafka服务器。以下是一个基本的指南：

1. 安装Java

Kafka需要Java运行环境，首先安装Java：

sudo yum install java-1.8.0-openjdk-devel

验证安装：

java -version

2. 下载并解压Kafka

从Apache Kafka官网下载最新版本的Kafka，并解压到指定目录：

wget https://downloads.apache.org/kafka/2.8.0/kafka_2.13-2.8.0.tgz
tar -xzf kafka_2.13-2.8.0.tgz
cd kafka_2.13-2.8.0

3. 配置Zookeeper

Kafka使用Zookeeper进行集群管理。首先启动Zookeeper：

# 进入Kafka目录下的config文件夹
cd config

# 复制zookeeper.properties文件并编辑
cp zoo_sample.properties zookeeper.properties

# 编辑zookeeper.properties文件
vi zookeeper.properties

修改以下配置：

dataDir=/var/lib/zookeeper
clientPort=2181
maxClientCnxns=0

创建Zookeeper数据目录并启动Zookeeper：

sudo mkdir -p /var/lib/zookeeper
sudo chown $(whoami):$(whoami) /var/lib/zookeeper
bin/zookeeper-server-start.sh zookeeper.properties

4. 配置Kafka服务器

编辑Kafka服务器配置文件server.properties：

cd ..
vi config/server.properties

修改以下配置：

broker.id=1  # 每个broker的唯一ID
listeners=PLAINTEXT://:9092  # 监听地址和端口
log.dirs=/var/lib/kafka-logs  # 日志目录
zookeeper.connect=localhost:2181  # Zookeeper连接地址

5. 启动Kafka服务器

启动Kafka服务器：

bin/kafka-server-start.sh config/server.properties

6. 创建Topic

创建一个Topic来测试Kafka集群：

bin/kafka-topics.sh --create --topic test-topic --bootstrap-server localhost:9092 --replication-factor 3 --partitions 3

7. 验证集群

列出所有Topic：

bin/kafka-topics.sh --list --bootstrap-server localhost:9092

查看Topic详情：

bin/kafka-topics.sh --describe --topic test-topic --bootstrap-server localhost:9092

8. 配置多个Kafka Broker

为了搭建一个真正的集群，你需要配置多个Kafka Broker。每个Broker的broker.id必须唯一，并且listeners和log.dirs需要指向不同的目录。

例如，配置第二个Broker：

# 复制server.properties文件并编辑
cp config/server.properties server-2.properties

# 编辑server-2.properties文件
vi server-2.properties

修改以下配置：

broker.id=2
listeners=PLAINTEXT://:9093  # 监听地址和端口
log.dirs=/var/lib/kafka-logs-2  # 日志目录
zookeeper.connect=localhost:2181  # Zookeeper连接地址

启动第二个Broker：

bin/kafka-server-start.sh config/server-2.properties

重复上述步骤，配置并启动更多的Broker。

9. 配置客户端

在客户端配置文件中指定多个Broker地址：

bootstrap.servers=localhost:9092,localhost:9093

10. 测试集群

使用Kafka生产者发送消息，并使用消费者接收消息，验证集群是否正常工作。

通过以上步骤，你可以在CentOS上搭建一个基本的Kafka集群。根据实际需求，你可能需要进一步调整配置和优化性能。