Ubuntu 上部署与运行 Kafka 的最佳实践
一 环境与基础配置
- 使用受支持的 Java LTS，推荐 OpenJDK 11，并正确设置 JAVA_HOME 与 PATH，便于脚本与 systemd 调用。
- 规划数据与日志目录（如 /var/lib/zookeeper、/var/lib/kafka），避免使用 /tmp；提前创建专用系统用户 kafka 并授权目录，遵循最小权限原则。
- 规划网络与端口：开放 2181（ZooKeeper） 与 9092（Kafka），云上或跨主机需配置安全组/防火墙放行；Broker 对外通信需正确设置 listeners 与 advertised.listeners，避免内外网错配。
- 建议将 Kafka 与 ZooKeeper 以 systemd 服务方式管理，设置开机自启、日志轮转与资源限制，便于生产运维。
二 安装与目录规划
- 安装 OpenJDK 11 并验证版本；下载解压 Kafka 至 /usr/local/kafka 或 /opt/kafka，设置环境变量（如 KAFKA_HOME、PATH）。
- 创建数据与日志目录并赋权：
- ZooKeeper：dataDir=/var/lib/zookeeper
- Kafka：log.dirs=/var/lib/kafka/logs
- 初始化最小配置并验证：
- ZooKeeper 配置示例：tickTime=2000，dataDir=/var/lib/zookeeper，clientPort=2181
- Kafka 配置要点：broker.id（唯一）、listeners=PLAINTEXT://:9092、advertised.listeners=PLAINTEXT://<服务器IP>:9092、log.dirs、zookeeper.connect=localhost:2181
- 启动顺序：先 ZooKeeper，后 Kafka；使用命令行工具创建 Topic 并进行生产/消费连通性验证。
三 安全加固
- 启用 SSL/TLS 加密传输（配置 truststore/keystore、协议与端口），防止数据链路窃听与篡改。
- 启用 SASL 认证（如 PLAIN/SCRAM），对客户端接入进行身份校验；与 ACL 配合实现细粒度授权。
- 网络边界与主机加固：仅暴露必要端口，限制来源网段；Broker、ZooKeeper 进程以 非 root 运行；密钥与证书妥善管控与轮换。
四 性能与可靠性调优
- Broker 线程与网络：根据负载调整 num.network.threads、num.io.threads；适度增大 socket.send.buffer.bytes、socket.receive.buffer.bytes，并合理设置 socket.request.max.bytes 防止过载。
- 生产者关键参数：提高 batch.size（如 1 MB） 与 linger.ms（如 100 ms） 提升吞吐；启用 compression.type（snappy/lz4/zstd） 降低网络与磁盘占用；可靠性场景设置 acks=all 并结合 min.insync.replicas 保障不丢数据。
- 消费者参数：根据业务延迟与吞吐权衡 fetch.min.bytes 与 fetch.max.wait.ms，减少空轮询与过度请求。
- 分区与副本：按吞吐目标与并行度设计 分区数（通常不小于消费者并发数），生产环境建议 副本因子≥3；主题创建示例：replication-factor=3、partitions=8。
- 操作系统与硬件：提升 文件描述符限制（如 65536），优化 TCP 队列与连接参数；优先 SSD、充足内存与高带宽网络。
五 运维监控与日常维护
- 以 systemd 托管进程并设置 Restart=on-failure，配置 journald 或文件日志轮转，避免磁盘被日志撑满。
- 打开 JMX 暴露指标，结合 Prometheus + Grafana 建立监控大盘（如请求耗时、请求错误率、生产/消费滞后、网络与磁盘 IO、ZooKeeper 延迟等），并设置告警阈值。
- 合理规划 日志保留与清理策略（如基于时间/大小的保留与压缩），定期巡检磁盘与网络健康；变更配置与版本升级先在测试环境验证，再灰度滚动发布。