在 Debian 上升级与维护 Kafka 的实用指南
一 升级前准备
- 备份关键数据与配置：至少备份 /var/lib/kafka（数据目录）与 /etc/kafka（配置目录），以及任何自定义脚本与证书。示例：
sudo cp -r /var/lib/kafka /var/lib/kafka_backup、sudo cp -r /etc/kafka /etc/kafka_backup。
- 检查运行状态与版本：确认集群健康，记录当前版本（如
kafka-topics.sh --version），便于回滚与对比。
- 选择升级策略：在 ZooKeeper 模式下建议按 滚动升级逐台进行；若升级到 Kafka 4.0+ KRaft 模式，需按官方步骤进行 离线迁移。
- 准备回滚方案：保留旧版本目录与配置，确保可快速恢复；升级前在测试环境演练关键步骤。
二 升级路径与步骤
- 使用官方二进制包升级（通用、可控性高）
- 下载并解压新版本至 /opt/kafka_new（示例：
wget https://downloads.apache.org/kafka/4.0.0/kafka_4.0.0-bin.tar.gz && sudo tar -xzf kafka_4.0.0-bin.tar.gz -C /opt）。
- 停止旧实例：
sudo systemctl stop kafka（ZooKeeper 模式同时 sudo systemctl stop zookeeper）。
- 迁移配置与证书：将旧版 /etc/kafka 覆盖到新版的 config/，并核对关键配置（如
server.properties 的 log.dirs、listeners、认证插件等）。
- 调整 systemd 单元（如使用 systemd 管理）：将 ExecStart 指向新二进制路径，执行
sudo systemctl daemon-reload。
- 启动并验证：先单节点启动验证，再逐步扩展到全集群；使用
kafka-topics.sh --list --bootstrap-server <broker:9092> 与日志检查运行状态。
- 观察与回滚：观察 UnderReplicatedPartitions、请求延迟与错误日志，异常则回滚至旧目录并恢复配置。
- 使用 APT 仓库升级（如使用 Confluent 或其他第三方仓库）
- 更新索引：
sudo apt update。
- 执行升级：
sudo apt install kafka（或指定版本）。
- 重启服务：
sudo systemctl restart kafka 并验证。
- 模式差异要点
- ZooKeeper 模式：逐台滚动升级，保持多数节点在线，避免集群不可用。
- KRaft 模式（Kafka ≥ 4.0）：官方支持从旧版本迁移至 KRaft，通常需 停止整个集群 完成元数据迁移后再启动新集群。
三 版本差异与兼容性要点
- Kafka 4.0+ KRaft 模式：不再内置 ZooKeeper，需迁移至 KRaft；且 不再支持 Java 8，请使用 Java 17+。
- ZooKeeper 兼容性：若仍使用 ZooKeeper，确保 ZooKeeper 版本与新版 Kafka 兼容，并在升级前后核查
zookeeper.connect 与 ACL/SASL 配置。
- 客户端兼容性：升级后及时验证 生产者/消费者/管理工具 的兼容性，必要时升级客户端库与驱动。
- JVM 与 GC：关注 JDK 版本 与 GC 参数，避免因版本变化引发崩溃或内存问题。
四 日常维护与监控
- 服务与配置管理：使用 systemd 管理 Kafka/ZooKeeper，变更配置后执行
systemctl daemon-reload 并滚动重启；为关键操作准备维护窗口与回滚预案。
- 备份与恢复：定期备份 /var/lib/kafka 与 /etc/kafka；验证备份可用（如恢复演练）。
- 监控与告警：监控 UnderReplicatedPartitions、RequestHandlerAvgIdlePercent、NetworkProcessorAvgIdlePercent、磁盘使用率、GC 时间与次数 等关键指标，异常及时处置。
- 容量与性能：根据负载调整 log.retention.hours/bytes、num.network.threads、num.io.threads、socket.send/receive.buffer.bytes 等参数，必要时扩容磁盘或 Broker。
- 安全加固：启用 SASL/SSL，定期轮换证书与密钥，限制管理接口访问。
五 快速回滚方案
- 立即停止新版本实例：
sudo systemctl stop kafka（ZooKeeper 模式同时停止 ZooKeeper）。
- 恢复数据与配置：将备份的 /var/lib/kafka_backup 与 /etc/kafka_backup 还原；如用二进制包，将 ExecStart 指回旧版本目录。
- 启动旧版本并验证：
sudo systemctl start kafka，检查 kafka-topics.sh --list、ISR 与错误日志，确认业务恢复。