如何在Debian上监控Kafka

在Debian上监控Kafka有多种工具可以选择，以下是一些推荐的监控工具及其安装和使用方法：

Kafdrop

功能介绍：

• 支持根据Topic查看消费者组详细信息
• 支持查看消费者组消费的所有Topic
• 支持查看Topic详细配置
• 支持根据关键词搜索消息
• 支持根据offset查看消息
• 支持创建、删除Topic

安装运行命令：

docker run -d --rm -p 9000:9000 \
  -e KAFKA_BROKERCONNECT=<host:port,host:port> \
  -e SERVER_SERVLET_CONTEXTPATH="/" \
  obsidiandynamics/kafdrop

项目地址：kafdrop GitHub

KafkaOffsetMonitor

功能介绍：

• 支持查看消费者组信息
• 支持查看Topic组信息
• 支持查看一定时间内消费者消费状态

启动方式：

java -cp KafkaOffsetMonitor-assembly-0.3.0-SNAPSHOT.jar \
  com.quantifind.kafka.offsetapp.OffsetGetterWeb \
  --offsetStorage kafka \
  --zk zk-server1,zk-server2 \
  --port 8080 \
  --refresh 10.seconds \
  --retain 2.days

监控页面展示：

• Topic：Topic的名称
• Partition：该Topic包含的分区数量
• Offset：Kafka消费者已消费的消息数量
• logSize：已写入该分区的消息数量
• Lag：未读取的消息数量（Lag=logSize-Offset）
• Owner：该分区所在的Broker（包括消费者组名称、主机名和broker.id）
• Created：分区创建时间
• Last Seen：Offset和logSize最后更新时间

JConsole

功能介绍：

• 基于JMX的可视化监控管理工具，可以用来监控Kafka的各项指标

使用方式：

1. 确保JDK已安装。
2. 修改kafka-server-start.sh脚本的JMX端口配置：

export JMX_PORT="9999"

3. 在命令行中输入jconsole并回车，启动JConsole。

Kafka Manager

功能介绍：

• 管理和监控Kafka集群
• 支持管理多个集群
• 检查kafka集群状态
• 选择副本、副本重新分配以及创建Topic等

安装步骤：

1. 下载Kafka Manager的最新版本。
2. 修改Kafka-run-class.sh文件，增加JMX的相关参数。
3. 启动Kafka Manager。

项目地址：Kafka Manager GitHub

这些工具各有特点，可以根据实际需求选择合适的工具进行监控。例如，Kafdrop适合需要实时监控和管理Kafka集群的用户，而KafkaOffsetMonitor则是一个轻量级的解决方案。