Kafka如何与CentOS其他服务集成

在 CentOS 上，Kafka 常与日志采集、存储计算、数据库变更捕获以及监控告警等服务协同工作。下面给出可落地的集成路径与关键配置。

一 基础集成准备

• 运行环境
  • 安装 Java 8 或 11，建议创建专用用户 kafka 并配置 JAVA_HOME。
  • 开放防火墙端口：9092（Kafka）、2181（ZooKeeper）；如使用 KRaft 模式，还需开放 9093（Controller）。
    • 示例：firewall-cmd --permanent --add-port={9092,2181,9093}/tcp && firewall-cmd --reload
• 部署与自启动
  • 使用系统服务管理：为 ZooKeeper 与 Kafka 配置 systemd unit，设置依赖顺序（ZooKeeper → Kafka），并提升文件句柄限制（如 LimitNOFILE=100000）。
  • 启动顺序：先启 ZooKeeper，再启 Kafka；验证 systemctl status 与日志无报错。

二 典型集成场景与配置要点

• 日志采集与检索（EFK：Filebeat → Kafka → Logstash → Elasticsearch → Kibana）

  • Filebeat 输出到 Kafka
    • 关键配置（/etc/filebeat/filebeat.yml）：
      • output.kafka.hosts: ["kafka1:9092","kafka2:9092","kafka3:9092"]
      • output.kafka.topic: "nginx-logs"
      • 可按需开启 processors 丰富元数据
    • 启动：systemctl start filebeat
  • Logstash 消费 Kafka 写入 ES
    • 建议从 Kafka 读取后做解析与结构化，再写入 Elasticsearch，由 Kibana 可视化。

• 数据库变更捕获（MySQL → Canal → Kafka）

  • 前置：开启 MySQL binlog（log-bin、server-id），部署 ZooKeeper 与 Kafka。
  • Canal 配置：将输出格式设为 JSON，把变更事件（C/U/D）推送到指定 Kafka Topic，供下游消费与落库。

• 流处理与数据落地（Kafka → Spark Streaming/Flink → HDFS/数据库）

  • Spark Streaming 直连 Kafka 读取数据，进行过滤、聚合后写入 HDFS 或 数据库；提交作业到 YARN 或 Kubernetes 运行，形成实时 ETL 链路。

• 监控与告警（Kafka Exporter → Prometheus → Grafana）

  • 部署 Kafka Exporter 暴露 JMX 指标（默认监听 9308），在 Prometheus 中抓取，并在 Grafana 导入 Kafka 仪表盘（如 ID：3955），重点监控吞吐、消费滞后、离线分区等。

三 安全与网络集成

• 主机名与解析
  • 在 /etc/hosts 或 DNS 中维护所有节点的 FQDN/IP 映射，避免客户端解析错误与连接失败。
• 认证与加密（Kerberos + SASL/GSSAPI）
  • 在 KDC 与 /etc/krb5.conf 正确配置 Realm/域名映射；为 Kafka Broker、ZooKeeper、Producer/Consumer 准备 JAAS 文件。
  • Broker/客户端关键配置：
    • security.protocol=SASL_PLAINTEXT
    • sasl.mechanism=GSSAPI
    • sasl.kerberos.service.name=kafka
  • 启动脚本注入 JVM 参数（示例）：
    • -Djava.security.krb5.conf=/etc/krb5.conf
    • -Djava.security.auth.login.config=/path/jaas.conf
  • 注意 JCE 策略文件与 JDK 版本匹配，避免 GSSAPI 初始化失败。

四 快速验证与排错清单

• 基础连通与功能验证
  • 创建测试主题：kafka-topics.sh --bootstrap-server <broker>:9092 --create --topic test --partitions 1 --replication-factor 1
  • 生产/消费：kafka-console-producer.sh 与 kafka-console-consumer.sh 验证端到端消息流。
• 常见故障排查
  • 无法连接 Broker：检查 listeners/advertised.listeners 是否绑定到可达地址（如 0.0.0.0:9092 与服务器真实 IP），以及 防火墙/安全组 是否放行 9092/2181/9093。
  • 启动顺序错误：确保 ZooKeeper 已就绪再启 Kafka；使用 systemctl status 与 journalctl -xeu kafka 查看依赖与报错。
  • 认证失败：核对 krb5.conf、JAAS、principal、service.name 与 keytab 权限；检查 JCE 与 JDK 一致性。