Kafka可视化Web界面管理工具CMAK怎么用

# Kafka可视化Web界面管理工具CMAK怎么用

## 一、CMAK简介

CMAK（Cluster Manager for Apache Kafka，原Kafka Manager）是雅虎开源的Apache Kafka集群可视化管理系统，通过Web界面提供以下核心功能：

- **集群监控**：实时查看Broker状态、Topic分布、分区状态
- **便捷管理**：图形化创建/修改Topic、调整分区和副本
- **运维支持**：副本重分配、Preferred Leader选举
- **数据洞察**：消息积压监控、消费者组偏移量查看

> 项目地址：https://github.com/yahoo/CMAK

## 二、环境准备

### 1. 系统要求
- Java 8+（推荐OpenJDK）
- ZooKeeper 3.5+
- Kafka 0.8+（推荐2.x+）
- 2GB+内存（生产环境建议4GB+）

### 2. 下载安装
```bash
# 下载最新release（以3.0.0.5为例）
wget https://github.com/yahoo/CMAK/releases/download/3.0.0.5/cmak-3.0.0.5.zip
unzip cmak-3.0.0.5.zip
cd cmak-3.0.0.5

三、配置详解

修改conf/application.conf关键配置：

# ZooKeeper集群地址（多个用逗号分隔）
cmak.zkhosts="zk1:2181,zk2:2181,zk3:2181"

# 可选：启用JMX监控
kafka-manager.zkhosts=${cmak.zkhosts}
kafka-manager.broker-view-thread-pool-size=10
kafka-manager.consumer.properties.file=${?CONSUMER_PROPERTIES_FILE}

# 安全配置（生产环境必配）
basicAuthentication.enabled=true
basicAuthentication.username="admin"
basicAuthentication.password="password"

四、启动与访问

1. 启动服务

# 前台启动（开发环境）
bin/cmak -Dconfig.file=conf/application.conf

# 后台启动（生产环境）
nohup bin/cmak -Dconfig.file=conf/application.conf > /var/log/cmak.log 2>&1 &

# 指定端口启动
bin/cmak -Dconfig.file=conf/application.conf -Dhttp.port=8081

2. 访问Web界面

浏览器打开：http://<服务器IP>:9000

五、核心功能操作指南

1. 集群管理

添加集群

1. 顶部菜单选择”Cluster” > “Add Cluster”
2. 填写配置：
   • Cluster Name：自定义名称（如”Prod-Kafka”）
   • ZooKeeper Hosts：与配置文件一致
   • Kafka Version：选择对应版本
3. 勾选”Enable JMX Polling”开启监控

集群概览

- Broker在线状态 - Topic数量统计 - 未同步副本数警告

2. Topic管理

创建Topic

1. 进入集群 > Topics > “Create”
2. 关键参数：

   
   Topic Name: orders
   Partitions: 6
   Replication Factor: 3
   Configs:
    retention.ms: 604800000  # 7天保留
    cleanup.policy: compact  # 压缩策略
   

分区调整

• 操作路径：Topic > “Add Partitions”
• 注意事项：
  • 只能增加不能减少分区
  • 可能影响消息key的hash路由

3. 消费者组监控

- 实时查看Lag情况 - 支持按消费者组过滤 - 可查看历史偏移量趋势

4. 运维操作

副本重分配

1. 进入Topic > “Generate Partition Assignments”
2. 选择目标Broker
3. 执行”Run Reassign Partitions”

Preferred Leader选举

• 解决Leader分布不均问题
• 路径：集群 > “Preferred Replica Election”

六、高级配置

1. 安全集成

LDAP配置示例

cmak {
  security {
    realm=LDAP
    ldap {
      server="ldap://ldap.example.com:389"
      base-dn="ou=users,dc=example,dc=com"
      username-attribute=uid
    }
  }
}

SSL配置

# 启动时添加参数
bin/cmak -Dhttps.port=9443 \
         -Djavax.net.ssl.keyStore=/path/to/keystore.jks \
         -Djavax.net.ssl.keyStorePassword=changeit

2. 监控集成

Prometheus指标暴露

kafka-manager.metrics.enable.jvm=true
kafka-manager.metrics.enable.prometheus=true

七、常见问题排查

1. 连接问题

症状：无法获取集群列表
解决： - 检查cmak.zkhosts配置 - 测试ZooKeeper连通性：

  echo stat | nc zk1 2181

2. JMX无法采集

错误：JMX connector server communication error
处理步骤： 1. 确认Broker启动参数包含：

   KAFKA_JMX_OPTS="-Dcom.sun.management.jmxremote -Dcom.sun.management.jmxremote.authenticate=false -Dcom.sun.management.jmxremote.ssl=false"

1. 开放Broker的JMX端口（默认9999）

3. 性能优化建议

• 增加JVM堆内存：

  
  bin/cmak -J-Xmx4G -J-Xms2G
  

• 调整ZK超时时间：

  
  kafka-manager.zkhosts=${cmak.zkhosts}
  kafka-manager.zkhosts.timeout.ms=30000
  

八、替代方案对比

工具	优势	局限性
CMAK	功能全面，社区活跃	大集群性能压力较大
Kafka Eagle	中文支持好，监控指标丰富	商业版功能限制
Kafdrop	轻量级，消息内容查看	管理功能较弱

九、最佳实践

1. 生产环境建议：

   • 使用Nginx反向代理并配置HTTPS
   • 定期备份conf/application.conf
   • 为不同团队创建只读账号

2. 监控关键指标：

   • Under Replicated Partitions
   • Active Controller Count
   • Offline Partitions Count

3. 版本升级：

   # 保留旧配置迁移
   cp old/cmak/conf/application.conf new/cmak/conf/
   

通过CMAK的可视化界面，运维人员可以显著提升Kafka集群的管理效率。建议结合监控告警系统（如Prometheus+Grafana）实现全方位监控。 “`

注：实际使用时请替换示例图片链接和配置参数中的占位值。如需更详细的操作截图或具体版本的特殊配置说明，可进一步扩展相应章节内容。