Kafka在Linux上如何扩容

在Linux上对Kafka进行扩容通常涉及以下几个步骤：

增加Broker数量

1. 准备新Broker：

• 安装Kafka到新服务器。
• 配置好相关的配置文件（如server.properties）。

2. 更新ZooKeeper配置：

• 确保所有Broker的ZooKeeper地址一致。

3. 重新分配分区：

• 使用kafka-reassign-partitions.sh脚本重新分配现有的分区副本到新的Broker上。

  ./bin/kafka-reassign-partitions.sh --zookeeper zkhost:port \
  --topics-to-move-json-file kafka/config/topic.json \
  --broker-list "broker1:9092,broker2:9092,..." \
  --generate
  

  其中broker1:9092,broker2:9092,...是新的Broker列表。

4. 执行分区再平衡：

./bin/kafka-reassign-partitions.sh --zookeeper zkhost:port \
--reassignment-json-file config/reassignment.json \
--execute

执行后再通过以下命令验证：

./bin/kafka-reassign-partitions.sh --zookeeper zkhost:port \
--reassignment-json-file config/reassignment.json \
--verify

扩展磁盘空间

1. 查看当前磁盘使用情况：

df -h

2. 扩展物理卷（PV）： 使用fdisk或parted等工具对磁盘进行分区，创建新的物理卷并添加到现有的卷组（VG）中。

fdisk /dev/vdc
# 按照提示操作，删除旧分区并创建新分区

3. 扩展逻辑卷（LV）： 使用lvextend命令扩展逻辑卷的大小。

lvextend -L +20G /dev/mapper/rhel-root

4. 调整文件系统大小： 对逻辑卷调整文件系统大小以使用新增的空间。

xfs_growfs /dev/mapper/rhel-root

注意事项

• 数据一致性：在执行扩容操作时，可以将acks设置为-1，min.insync.replicas设置为1，以保证数据的一致性和可用性。
• 停机与否：上述方法大多支持不停机扩容，但具体操作可能会因环境和配置不同而有所差异，建议先在测试环境中验证。

在进行任何操作之前，请确保备份所有重要数据，并在非生产环境中充分测试。