Debian系统升级Kafka的可执行方案

升级前准备

• 明确当前部署方式与版本：是 Debian 包管理（APT） 还是 官方二进制包（tar.gz），以及 Scala 版本 与 Kafka 版本。
• 完整备份：
  • 配置：/etc/kafka/
  • 数据：/var/lib/kafka/（或实际配置的 log.dirs 目录）
  • 如有外部依赖（如 Zookeeper 或 KRaft 元数据），一并备份。
• 规划维护窗口与回滚方案：先单节点演练，再滚动升级集群，确保有回滚包或快照可用。
• 检查兼容性：确认新版本对 JDK、Scala、Zookeeper/KRaft 的兼容要求；跨大版本升级时优先查阅官方 Release Notes 与升级指南。

升级路径一 APT 包管理升级（Debian 仓库或 Confluent 仓库）

• 适用于通过 APT 安装的 Kafka（如 Debian 官方仓库 或 Confluent 仓库）。
• 步骤：
  1. 停止服务
     sudo systemctl stop kafka
  2. 备份配置与数据
     sudo cp -r /etc/kafka /etc/kafka_backup
     sudo cp -r /var/lib/kafka /var/lib/kafka_backup
  3. 更新 APT 索引
     sudo apt update
  4. 执行升级（两种常见情形）
     • Debian 官方仓库：sudo apt install --only-upgrade kafka
     • Confluent 仓库：编辑 /etc/apt/sources.list.d/kafka.list，将版本路径指向目标版本（如 deb https://packages.confluent.io/deb/3.0 stable main），然后执行：sudo apt update && sudo apt install kafka
  5. 如有重大变更，按需调整 /etc/kafka/server.properties 等配置。
  6. 启动并验证
     sudo systemctl start kafka
     sudo systemctl status kafka
     /opt/kafka/bin/kafka-topics.sh --list --bootstrap-server localhost:9092
  7. 验证无误后再清理旧包与备份。
• 说明：不同仓库的包名与版本路径可能不同，请以实际仓库为准。

升级路径二 官方二进制包升级（tar.gz 手动部署）

• 适用于直接解压使用的 Apache Kafka 官方 tar.gz 包。
• 步骤：
  1. 停止服务
     sudo systemctl stop kafka

     如使用独立 Zookeeper

     sudo systemctl stop zookeeper
  2. 备份配置与数据（同上）
  3. 下载并解压新版本（示例为 3.5.0）
     wget https://archive.apache.org/dist/kafka/3.5.0/kafka_2.13-3.5.0.tgz
     sudo tar -xzf kafka_2.13-3.5.0.tgz -C /opt
  4. 同步或合并配置
     • 建议以新包 config/ 为基准，逐条比对并合并自定义项到 /etc/kafka/server.properties。
  5. 更新 systemd 单元（如使用 systemd 管理）
     • 编辑 /etc/systemd/system/kafka.service，将 ExecStart 指向新路径：
       ExecStart=/opt/kafka_2.13-3.5.0/bin/kafka-server-start.sh /etc/kafka/server.properties
     • 重新加载并启动：
       sudo systemctl daemon-reload
       sudo systemctl start kafka
  6. 验证版本与集群状态
     /opt/kafka_2.13-3.5.0/bin/kafka-topics.sh --version
     /opt/kafka_2.13-3.5.0/bin/kafka-topics.sh --list --bootstrap-server localhost:9092
  7. 确认稳定后删除旧版本目录。
• 说明：若使用 KRaft 模式，还需同步升级 Kafka 元数据版本 并遵循 KRaft 升级流程。

验证与回滚

• 快速验证
  • 进程与端口：systemctl status kafka；ss -lntp | grep 9092
  • 版本：/opt/kafka/bin/kafka-topics.sh --version
  • 集群连通与元数据：/opt/kafka/bin/kafka-topics.sh --list --bootstrap-server broker:9092
• 回滚建议
  • APT：使用已备份的 /etc/kafka 与 /var/lib/kafka 快速回滚，或降级到旧版本包。
  • 二进制：将 systemd 的 ExecStart 指回旧版本目录，恢复旧配置与数据目录后启动。

注意事项与常见问题

• 升级顺序：多 Broker 集群建议 滚动升级，逐台重启，保持多数节点在线，避免一次性全停。
• 依赖与兼容性：确认 JDK 版本满足新 Kafka 要求；如使用 Zookeeper，需确保版本兼容并同步升级；跨大版本请先在测试环境验证。
• 配置变更：关注新版本对 server.properties 的变更项（如监听器、日志保留策略、复制参数等）。
• 元数据模式：从 Zookeeper 迁移到 KRaft 或反之属于重大变更，需按官方步骤执行，不建议在升级过程中混用。
• 监控与告警：升级期间加强 Broker/请求延迟/ISR 监控，出现异常及时回滚。