如何监控centos kafka的运行状态

监控CentOS上Kafka运行状态可通过以下方式：

1. 命令行工具

• Kafka自带工具：
  • kafka-topics.sh --list --zookeeper <zk_host:port>：查看主题列表。
  • kafka-consumer-groups.sh --bootstrap-server <kafka_server:port> --describe --group <consumer_group>：查看消费者组状态。
  • kafka-run-class.sh kafka.tools.JMXShell：通过JMX端口查询集群指标。

2. JMX监控

• 开启JMX：在Kafka启动脚本中添加参数（如JMX_PORT=9988）。
• 工具连接：使用jconsole、JMXTool或jmxtrans连接JMX端口查看指标（如吞吐量、延迟等）。

3. 第三方工具

• Prometheus + Grafana：
  • 通过kafka-exporter采集JMX指标，Prometheus存储，Grafana可视化。
• Kafka Manager（CMAK）：
  • 提供集群、主题、消费者组监控，支持JMX指标和分区管理。
• Burrow：
  • 专注消费者偏移量监控，检测延迟和堆积问题。
• Confluent Control Center：
  • 商业级工具，支持集群全维度监控、告警和流处理监控。

4. 可视化与告警

• Grafana：集成Prometheus数据，创建自定义仪表盘（如消息堆积、Broker负载等）。
• 告警规则：在Prometheus中配置阈值告警（如消费者延迟超过1000ms触发告警）。

5. 日志与系统监控

• 系统层面：通过top、vmstat等命令监控服务器资源（CPU、内存、磁盘）。
• Kafka日志：分析kafkaServer.log和state-change.log，定位异常。

选择建议：

• 轻量级场景：Kafka Manager或Burrow。
• 企业级需求：Prometheus+Grafana+Confluent Control Center。
• 快速部署：Kafdrop或AKHQ。

参考来源：