Debian 上升级 Kafka 的实操指南

一 升级前准备

• 明确当前部署形态：是Zookeeper 模式还是KRaft 模式，以及 Scala 版本（如：2.13）。
• 检查当前版本：运行命令查看版本信息（示例：kafka-topics.sh --version）。
• 完整备份：至少备份配置文件（如：/etc/kafka）与数据目录（如：/var/lib/kafka 或安装目录下的 data/log.dirs），并保留一份旧版本二进制包以便快速回滚。
• 兼容性核对：
  • 从3.x → 4.0：Kafka 4.0 移除 Zookeeper、默认使用 KRaft，且不再支持 Java 8，需提前完成 JDK 升级与 KRaft 迁移评估。
  • 跨小版本升级：关注 broker、主题/ACL 配置项变更与废弃项。
• 规划滚动升级或停服窗口：多节点集群建议逐台或分批升级，保持版本一致，避免混跑导致不一致。
• 先在测试环境演练全流程。

二 两种常见升级路径

• 方式 A 二进制包原地升级（通用、可控性高）
  1. 停止服务：
     sudo systemctl stop kafka

     如使用 Zookeeper，也一并停止

     sudo systemctl stop zookeeper
  2. 备份：
     sudo cp -r /etc/kafka /etc/kafka_$(date +%F)
     sudo cp -r /var/lib/kafka /var/lib/kafka_$(date +%F)
  3. 下载并解压新版本（示例为 4.0.0，注意选择与现有一致的 Scala 版本目录）：
     wget https://downloads.apache.org/kafka/4.0.0/kafka_2.13-4.0.0.tgz
     sudo tar -xzf kafka_2.13-4.0.0.tgz -C /opt/
  4. 迁移配置：将旧配置拷入新目录并按需调整（如 server.properties、log.dirs、listeners、inter.broker.protocol 等）。
  5. 调整 systemd 单元（如使用 systemd 管理）：
     • 更新单元中的 ExecStart 指向新路径：/opt/kafka_2.13-4.0.0/bin/kafka-server-start.sh
     • 执行：sudo systemctl daemon-reload && sudo systemctl start kafka
  6. 验证：
     /opt/kafka_2.13-4.0.0/bin/kafka-topics.sh --version
     tail -f /var/log/kafka/server.log
  7. 回滚预案：出现问题可快速切回旧目录并恢复备份配置/数据。
• 方式 B APT 仓库升级（如使用 Confluent 或其他第三方仓库）
  1. 备份配置与数据（同上）。
  2. 更新 APT 索引并安装新版本：
     sudo apt update
     sudo apt install kafka
  3. 如从旧仓库迁移到新仓库，先修改源地址（如 /etc/apt/sources.list.d/kafka.list），再 apt update。
  4. 启动并检查状态：
     sudo systemctl start kafka
     sudo systemctl status kafka
  5. 验证版本与日志。

三 版本差异与关键注意事项

• 运行环境：Kafka 4.0 起要求 Java 11+，请提前升级 JDK，避免启动失败。
• 架构变更：Kafka 4.0 移除 Zookeeper，采用 KRaft。若从 ZK 模式迁移至 KRaft，需按官方步骤完成元数据迁移与控制器配置，再切换启动模式。
• 配置项差异：不同版本对 broker、主题、安全与复制参数有增删与默认值变化，升级前对照发行说明逐项核对。
• 客户端兼容：升级后确保生产者/消费者/管理工具的客户端库版本与新 broker 兼容。
• 集群一致性：多 broker 集群务必同步升级相同小版本，避免跨版本通信与元数据不一致。

四 验证与回滚

• 快速验证清单：
  • 版本：kafka-topics.sh --version 输出为新版本。
  • 服务：systemctl is-active kafka 为 active；日志无 ERROR。
  • 元数据：列出主题、创建/删除小主题验证权限与复制。
  • 业务连通：用现有客户端进行生产/消费冒烟测试。
• 回滚步骤（示例）：
  • 停止新版本服务，恢复备份的配置文件与数据目录；
  • 将 systemd 单元或启动脚本指回旧版本二进制；
  • 启动旧版本并复核版本与业务功能。