kafka在centos上如何升级

Kafka在CentOS上的升级流程及注意事项

一、升级前准备

1. 备份关键数据

升级前必须备份Kafka集群的核心数据，包括：

• Zookeeper数据目录（默认路径：/var/lib/zookeeper 或自定义配置的dataDir）；
• Kafka日志目录（默认路径：/tmp/kafka-logs 或自定义配置的log.dirs）。
  备份方式可采用rsync、tar或云存储快照，确保数据可恢复。

2. 检查当前Kafka版本

通过命令行工具确认当前集群版本（任选其一）：

# 查看主题元数据中的版本信息（需指定已有主题）
bin/kafka-topics.sh --describe --topic your_topic_name | grep "Version"
# 直接查看Kafka命令行工具版本
bin/kafka-topics.sh --version

记录当前版本号（如3.5.2），以便后续选择兼容的新版本。

3. 下载新版本Kafka

访问Apache Kafka官方下载页面（https://kafka.apache.org/downloads），选择与当前版本兼容的新版本（如从3.5.2升级到3.9.0），下载对应的二进制分发包（.tgz格式）。

4. 验证版本兼容性

查阅新版本的发布说明（Release Notes）和升级指南（Upgrade Guide），重点确认：

• 新版本与当前Kafka集群版本的双向兼容性（如客户端与服务器版本匹配）；
• 新版本对Zookeeper的要求（如Kafka 4.0及以上需使用KRaft模式，不再依赖Zookeeper）；
• 新版本对Java的要求（如Kafka 4.0需Java 11及以上）。

二、执行升级操作

1. 停止当前Kafka服务

使用systemctl命令停止运行中的Kafka服务：

sudo systemctl stop kafka

验证服务状态：

sudo systemctl status kafka  # 应显示"inactive (dead)"

2. 解压并部署新版本

• 解压下载的新版本包：

  tar -xzf kafka_2.12-3.9.0.tgz  # 替换为实际下载的文件名
  mv kafka_2.12-3.9.0 /opt/kafka  # 移动到目标目录（建议固定路径）
  

• （可选）备份旧版本目录（如/opt/kafka_old），便于后续回退。

3. 更新配置文件

将旧版本的config目录下的配置文件复制到新版本目录，并根据新版本要求修改关键配置：

cp -r /opt/kafka_old/config/* /opt/kafka/config/

重点检查的配置项：

• server.properties：
  • broker.id：确保集群内唯一；
  • listeners：更新为当前节点的监听地址（如PLAINTEXT://your_server_ip:9092）；
  • advertised.listeners：更新为外部客户端访问的地址（如PLAINTEXT://your_public_ip:9092）；
  • zookeeper.connect：若未迁移到KRaft模式，需保持与旧版本一致的Zookeeper连接字符串（如localhost:2181）；
  • log.dirs：确认日志目录路径正确（与备份路径一致）；
  • inter.broker.protocol.version：若跨大版本升级，需设置为旧版本的协议版本（如从3.5.2升级到3.9.0，可保留3.5，待集群全部升级完成后再修改为3.9）；
  • log.message.format.version：同理，保留旧版本格式（如3.5）。

4. 启动新版本Kafka

进入新版本目录，启动Kafka服务：

cd /opt/kafka/bin
./kafka-server-start.sh -daemon ../config/server.properties  # 使用-daemon后台运行

验证服务是否启动成功：

ps -ef | grep kafka  # 应存在Kafka进程
tail -n 50 ../logs/server.log  # 检查日志是否有错误

5. 验证升级结果

• 使用命令行工具检查Broker版本：

  /opt/kafka/bin/kafka-broker-api-versions.sh --bootstrap-server localhost:9092
  

  输出应显示新版本号（如3.9.0）。
• 创建测试主题并发送/接收消息：

  # 创建主题
  /opt/kafka/bin/kafka-topics.sh --create --topic test_upgrade --partitions 1 --replication-factor 1 --bootstrap-server localhost:9092
  # 发送消息
  /opt/kafka/bin/kafka-console-producer.sh --topic test_upgrade --bootstrap-server localhost:9092
  # 接收消息
  /opt/kafka/bin/kafka-console-consumer.sh --topic test_upgrade --from-beginning --bootstrap-server localhost:9092
  

  确认消息收发正常，无报错。

三、升级后注意事项

1. 监控集群状态

升级后需持续监控以下指标：

• Broker的CPU、内存、磁盘使用率；
• Topic的分区Leader分布（是否均衡）；
• 消费者组的消费延迟（kafka-consumer-groups.sh --describe）；
• 日志中是否有异常（如ERROR或WARN级别日志）。

2. 清理旧版本文件

确认集群运行稳定后，可删除旧版本的Kafka目录（如/opt/kafka_old），释放磁盘空间。

3. 回退方案（可选）

若升级后出现严重问题（如数据丢失、服务无法启动），可快速回退到旧版本：

# 停止新版本Kafka
sudo systemctl stop kafka
# 启动旧版本Kafka（需提前备份旧版本目录）
/opt/kafka_old/bin/kafka-server-start.sh -daemon /opt/kafka_old/config/server.properties

验证旧版本服务恢复正常后，重复升级前的备份步骤，再尝试重新升级。

四、关键提醒

• 滚动升级：若集群有多个Broker节点，建议逐个升级（停止一个节点→升级→启动→验证→继续下一个节点），避免集群整体停机。
• Zookeeper兼容性：若使用Kafka 4.0及以上版本，需提前将集群从ZooKeeper模式迁移到KRaft模式（参考Kafka官方迁移指南）。
• 客户端适配：升级后需同步更新生产者和消费者客户端的Kafka版本，确保协议兼容。