如何升级Linux Kafka的版本

以下是Linux Kafka版本升级的核心步骤，结合关键注意事项确保安全可靠：

一、升级前准备

1. 备份数据与配置
   • 备份Kafka数据目录（如/var/lib/kafka）和配置文件（server.properties等）。
   • 使用rsync或tar工具归档重要数据，例如：

     tar -czvf kafka_backup_$(date +%F).tar.gz /opt/kafka/config /var/lib/kafka
     

2. 检查版本兼容性
   • 阅读官方升级文档，确认新版本与客户端库、ZooKeeper的兼容性。
   • 注意协议版本（如inter.broker.protocol.version）和消息格式的兼容性。
3. 停止相关服务
   • 停止Kafka和ZooKeeper服务：

     sudo systemctl stop kafka
     sudo systemctl stop zookeeper
     

二、升级操作步骤

1. 下载并解压新版本
   • 从Apache官网下载新版本tar包，解压到目标目录（覆盖旧版本或新建目录）：

     wget https://downloads.apache.org/kafka/3.6.0/kafka_2.13-3.6.0.tgz
     tar -xzf kafka_2.13-3.6.0.tgz -C /opt/kafka --strip-components=1
     

2. 更新配置文件
   • 复制旧版配置文件到新目录，修改以下关键参数（如有变化）：
     • listeners/advertised.listeners：更新监听地址。
     • log.message.format.version：与客户端协议版本一致。
     • 其他新版本新增或废弃的配置项。
3. 启动新版本服务
   • 启动ZooKeeper和Kafka：

     sudo bin/zookeeper-server-start.sh config/zookeeper.properties &
     sudo bin/kafka-server-start.sh config/server.properties &
     

三、验证与监控

1. 检查服务状态
   • 使用命令行工具验证版本和功能：

     kafka-topics.sh --version  # 确认客户端版本
     kafka-topics.sh --list --bootstrap-server localhost:9092  # 检查主题
     

2. 测试生产消费
   • 通过kafka-console-producer和kafka-console-consumer测试消息收发。
3. 监控集群状态
   • 查看日志（/var/log/kafka）和性能指标（如吞吐量、延迟），确保无异常。

四、注意事项

• 滚动升级：生产环境建议分批次升级Broker，避免服务中断。
• 数据迁移：若涉及存储格式变更（如从ZooKeeper迁移到KRaft），需使用kafka-reassign-partitions.sh等工具。
• 回滚计划：保留旧版本目录，若新版本出现问题可快速切换回旧版本。

参考来源：