Kafka配置时Debian需要注意什么

Debian 上配置 Kafka 的关键注意事项

一 基础环境与系统准备

• 选择 Java 版本：Kafka 3.x 建议使用 OpenJDK 11+；若仍使用 2.8 及以下，可沿用 Java 8。安装示例：sudo apt install -y openjdk-11-jdk；验证：java -version。
• 依赖组件：传统模式需 Zookeeper（建议 3 或 5 节点奇数集群）；Kafka 2.8+ 可使用 KRaft 模式替代 Zookeeper（需评估与现有生态的兼容性）。
• 系统与服务管理：Debian 默认使用 systemd，建议以 非 root 用户运行 Kafka，并通过 systemd 管理服务。
• 资源规划：为消息与日志预留充足磁盘（避免 /tmp 清理），优先 SSD，并保证 网络带宽与 CPU 资源不被其他服务抢占。

二 核心配置要点

• 监听与可达性：正确设置 listeners（Broker 监听地址）与 advertised.listeners（外部客户端访问地址），避免仅绑定 localhost 导致远程无法连接；必要时同时声明 inter.broker.listener.name 与控制器监听（KRaft）。
• 存储路径：将 log.dirs 从 /tmp/kafka-logs 改为持久目录（如 /var/lib/kafka/logs），可配置多目录提升 IO 并发。
• 集群标识：每个 Broker 的 broker.id 必须唯一（范围 0 ~ 2^31-1）。
• 元数据与高可用：
  • Zookeeper 模式：配置 zookeeper.connect=host1:2181,host2:2181,host3:2181。
  • KRaft 模式：配置 process.roles=broker,controller、listeners=PLAINTEXT://:9092,CONTROLLER://:9093、controller.listener.names=CONTROLLER、node.id（唯一）、controller.quorum.voters（如 1@ip1:9093,2@ip2:9093,3@ip3:9093）；首次需执行 kafka-storage.sh format 初始化元数据。
• 可靠性参数：建议 default.replication.factor=3、min.insync.replicas=2，生产者 acks=all，避免数据丢失与脑裂。

三 系统与安全加固

• 文件描述符与内核参数：提升 fs.file-max（如 655350），在 /etc/security/limits.conf 设置 * soft/hard nofile 655350，并在 systemd 服务中设置 LimitNOFILE=655350；临时验证可用 ulimit -n。
• 运行用户与目录权限：创建 kafka 用户与组，相关目录（安装目录、数据目录、日志目录）属主设为 kafka:kafka，权限 750。
• 防火墙与端口：开放 9092（客户端通信）；KRaft 需开放 9093（控制器通信）；Zookeeper 需开放 2181，集群内部还需 2888/3888 端口。
• 加密与认证：启用 SSL/TLS（配置 keystore/truststore），启用 SASL（如 PLAIN/SCRAM），并通过 ACL 限制 Topic/Group/Cluster 等资源访问。

四 性能与运维实践

• Broker 调优：根据 CPU 与负载调整 num.network.threads（如 8~16）、num.io.threads（如 16~32）；设置 log.segment.bytes=1~2GB 减少段切换；按业务调整 log.retention.hours；可靠性场景可设 unclean.leader.election.enable=false。
• 生产者与消费者：生产者建议 batch.size=32~64KB（或 1MB）、linger.ms=50~1000ms（权衡延迟与吞吐）、compression.type=lz4/snappy、acks=all、buffer.memory=64MB；消费者建议 fetch.min.bytes=1~4MB、max.poll.records=500~2000，并尽量使消费者线程数与分区数匹配。
• 监控与维护：使用 kafka-topics.sh / kafka-consumer-groups.sh 巡检 Topic 与消费进度；部署 Prometheus + Grafana 监控吞吐、延迟、错误率；配置 log4j/logback 日志轮转，定期备份 log.dirs。

五 常见坑与快速排查

• advertised.listeners 配置不当导致客户端连不通：确保对外域名/IP 可被客户端解析，并与 listeners 一致。
• 使用默认 /tmp 目录被系统清理：将 log.dirs 改为持久目录并正确授权。
• 文件描述符不足：提升系统/进程 nofile 限制，并在 systemd 中显式声明。
• 未开放防火墙端口：核对 9092/9093/2181/2888/3888 是否放行。
• KRaft 初始化遗漏：首次启动前执行 kafka-storage.sh format 生成集群元数据。
• 版本不兼容：Kafka 3.x 建议 Java 11+；跨大版本升级（如 2.x → 3.x）需按官方指南迁移与回归测试。