kafka配置Ubuntu环境需知啥

Ubuntu 上配置 Kafka 的关键注意事项

一 基础环境与版本选择

• 安装 Java：Kafka 需要 JRE/JDK 8 或更高版本，常见做法是安装 OpenJDK 8/11。示例：sudo apt update && sudo apt install openjdk-11-jdk -y，随后用 java -version 验证。
• 版本匹配：选择与你的客户端/依赖兼容的 Kafka 版本；不同版本的命令行参数与 API 可能存在差异。
• 资源规划：确保服务器具备充足的 内存与磁盘（如至少 4GB RAM 更稳妥），避免因资源不足导致启动或性能问题。

二 部署模式与核心配置

• 部署模式：传统方式依赖 Zookeeper；新版本可使用 KRaft 模式（去 Zookeeper）。若用 KRaft，需生成 Cluster ID 并在所有节点完成初始化。
• server.properties 关键项：
  • broker.id：每个 Broker 的 唯一标识（集群内不可重复）。
  • listeners 与 advertised.listeners：分别定义 监听地址 与 对外暴露地址，生产环境建议显式设置为服务器的 内/外网 IP，避免客户端解析错误。
  • log.dirs：消息日志目录，建议使用 持久化路径（如 /var/lib/kafka），避免 /tmp 被清理。
  • zookeeper.connect（Zookeeper 模式）：如 localhost:2181 或 Zookeeper 集群地址。
• 生产建议：为关键主题设置合理的 副本因子 与 分区数，如 default.replication.factor=3、num.partitions 结合吞吐与并行度规划。

三 网络与防火墙

• 端口开放：确保防火墙放行 2181（Zookeeper） 与 9092（Kafka）；云服务器还需在 安全组 放通对应端口。示例：sudo ufw allow 2181,9092/tcp。
• 监听绑定：在 listeners 中明确绑定到 0.0.0.0（或指定网卡 IP），并确保路由与安全策略允许外部访问。
• 主机可达：跨机器部署时，使用 可达的服务器 IP/域名，避免仅用 localhost 导致外部无法连接。

四 集群与安全加固

• 集群要点：
  • 每个 Broker 的 broker.id 必须 唯一。
  • 多节点时，Zookeeper 使用 server.X=host:port:port 配置并维护 myid 文件；Kafka 各节点 listeners 指向可达地址。
• 安全建议：
  • 启用 SASL/SSL 认证与加密传输，限制未授权访问。
  • 结合业务设置 ACL，对 Topic/Group 进行权限控制。
  • 规划 消息保留策略（如 log.retention.hours、log.retention.bytes），避免磁盘被占满。

五 运维与排错要点

• 服务托管：使用 systemd 管理 Kafka/Zookeeper，配置正确的 After= 依赖、User、ExecStart/ExecStop、Restart 策略，并启用开机自启。
• 日志与诊断：通过 journalctl -u kafka 查看服务日志；Kafka 日志位于 log.dirs 指定目录。
• 常见问题：
  • 配置项含 多余空格/不可见字符 导致启动失败。
  • 端口冲突（2181/9092 被占用）需排查并调整。
  • 目录 权限不足 导致无法读写日志或元数据。
• 基本自检：创建 Topic、用控制台 生产者/消费者 验证端到端连通与收发。