Kafka 与 Ubuntu 的兼容性要点与落地配置

一 兼容性与版本选择

• 系统层面优先选择 Ubuntu LTS（如 20.04、22.04、24.04），内核与软件栈稳定，便于获得安全更新与驱动支持。Kafka 本身是 Java/Scala 应用，对 Linux 内核版本不敏感，关键在于 JDK 版本 与 Kafka 发行版 的匹配。
• JDK 建议：传统稳定组合使用 OpenJDK 8；新环境可采用 OpenJDK 11/17（需与所用 Kafka 版本兼容）。若出现 UnsupportedClassVersionError，多为 JDK 主次版本不匹配，需统一开发与运行环境的 JDK。
• Kafka 版本：选择与业务需求匹配的 稳定版（如 3.5.x、3.7.x），不同版本的配置项与参数语义可能存在差异，升级需按官方变更说明调整。
• 组件依赖：Kafka 强依赖 Zookeeper（KRaft 模式除外），需确保 Zookeeper 版本与 Kafka 兼容并稳定运行。

二 关键配置与网络要点

• listeners 与 advertised.listeners：对外可达的 Broker 必须正确设置，例如
  listeners=PLAINTEXT://0.0.0.0:9092
  advertised.listeners=PLAINTEXT://<服务器公网或内网IP>:9092
  远程访问失败或客户端无法连接，常由 advertised.listeners 错误或网卡未启用导致。
• broker.id：集群内每个 Broker 必须唯一，重复会导致启动异常或数据不一致。
• log.dirs：确保目录存在且 Kafka 运行用户对目录有 读写权限，否则 Broker 启动失败。
• 启动顺序：先启动 Zookeeper，再启动 Kafka。
• 防火墙与端口：开放 2181（Zookeeper） 与 9092（Kafka），如启用 UFW：sudo ufw allow 9092,2181/tcp。

三 常见兼容性问题与快速排查

• 端口冲突：检查 9092/2181 是否被占用（如 lsof -i:9092），必要时终止占用进程或修改 listeners 端口。
• 地址绑定错误：核对 listeners/advertised.listeners 是否为有效 IP 或主机名，避免仅绑定 127.0.0.1 导致外部不可达。
• Zookeeper 连接异常：确认 Zookeeper 已启动且 zookeeper.connect 配置一致（如 localhost:2181）。
• JDK 版本不兼容：出现 UnsupportedClassVersionError 时，统一 JDK 8/11/17 版本并重新启动。
• 内存不足：在 kafka-server-start.sh 中设置合适的堆内存，例如
  export KAFKA_HEAP_OPTS=“-Xmx512M -Xms512M”。
• 配置路径与权限：使用 绝对路径 启动，确保 log.dirs 等目录权限正确（如 chown -R kafka:kafka /var/lib/kafka）。
• 客户端与服务端版本不匹配：参考 Kafka 官方兼容性矩阵，避免跨大版本导致协议或功能异常。

四 快速落地配置示例 Ubuntu 22.04/24.04

• 安装 Java（示例选用 OpenJDK 11）：
  sudo apt update && sudo apt install -y openjdk-11-jdk
  java -version
• 安装并启动 Zookeeper（单机演示）：
  wget https://downloads.apache.org/zookeeper/zookeeper-3.7.0/apache-zookeeper-3.7.0-bin.tar.gz
  tar -xzvf apache-zookeeper-3.7.0-bin.tar.gz && sudo mv apache-zookeeper-3.7.0 /opt/zookeeper

  /opt/zookeeper/conf/zoo.cfg

  tickTime=2000
  dataDir=/opt/zookeeper/data
  clientPort=2181
  /opt/zookeeper/bin/zkServer.sh start
• 安装并配置 Kafka（示例版本 kafka_2.13-3.7.0）：
  wget https://downloads.apache.org/kafka/3.7.0/kafka_2.13-3.7.0.tgz
  tar -xzvf kafka_2.13-3.7.0.tgz && sudo mv kafka_2.13-3.7.0 /opt/kafka

  /opt/kafka/config/server.properties

  broker.id=0
  listeners=PLAINTEXT://0.0.0.0:9092
  advertised.listeners=PLAINTEXT://<服务器IP>:9092
  log.dirs=/opt/kafka/data/kafka-logs
  zookeeper.connect=localhost:2181

  启动

  /opt/kafka/bin/kafka-server-start.sh /opt/kafka/config/server.properties
• 验证：
  /opt/kafka/bin/kafka-topics.sh --create --topic test --bootstrap-server localhost:9092 --partitions 1 --replication-factor 1
  /opt/kafka/bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test
  /opt/kafka/bin/kafka-console-consumer.sh --topic test --from-beginning --bootstrap-server localhost:9092
  如需远程访问，开放防火墙端口 9092/2181，并确保客户端使用 advertised.listeners 的 IP/域名连接。