如何监控Ubuntu Kafka运行状态

要监控Ubuntu上的Kafka运行状态，您可以使用多种工具和方法。以下是一些推荐的步骤和方法：

使用kafka_exporter和Prometheus进行监控

1. 安装kafka_exporter：

• 您可以从kafka_exporter的GitHub页面下载并安装kafka_exporter。
• 使用docker-compose部署多个kafka_exporter实例，每个实例对接一个Kafka broker。

2. 配置Prometheus：

• 在Prometheus的配置文件中添加job以接入kafka_exporter。
• 确保每个kafka_exporter实例增加了name标签，以便在Grafana看板中使用。

3. Grafana看板：

• 使用KAFKA Grafana Dashboard（中文版本），这是一个基于Prometheus的kafka_exporter监控面板。
• 您可以下载该看板并在Grafana中导入使用。

4. 告警规则：

• 根据您的需求配置Prometheus告警规则，例如监控Kafka broker的状态、消息积压等。

监控指标

• 基础指标：CPU、内存、硬盘、网络I/O等资源使用情况。
• Broker指标：包括UnderReplicatedPartitions、ISR、ActiveControllerCount、offlinePartitionCount、LeaderElectionRateAndTimeMs、UncleanLeaderElectionsPerSec等。
• Producer指标：如request-latency-avg、waiting-threads等。
• Consumer指标：如records-lag等。

日志监控

• 除了上述指标外，您还可以通过监控Kafka和Zookeeper的日志来获取运行状态和排查问题。

通过上述方法，您可以全面监控Ubuntu上Kafka的运行状态，及时发现并解决潜在问题。