kafka-manager怎么用

发布时间：2021-11-16 10:22:13 作者：小新
来源：亿速云阅读：364

# Kafka-Manager怎么用

## 一、Kafka-Manager简介

Kafka-Manager是Yahoo开源的Kafka集群管理工具，提供Web UI界面，支持以下核心功能：

- 多集群管理
- Broker状态监控
- Topic创建/删除/配置修改
- 分区管理（扩缩容、副本分配）
- 消费者组监控
- 副本重分配
- 权限管理（配合SASL）

> 项目地址：https://github.com/yahoo/kafka-manager

## 二、环境准备

### 1. 依赖环境
- JDK 1.8+
- ZooKeeper集群（与Kafka共用）
- Kafka 0.8.2+（建议1.0+版本）

### 2. 安装方式
推荐两种安装方式：

#### 方式一：源码编译
```bash
git clone https://github.com/yahoo/kafka-manager.git
cd kafka-manager
./sbt clean dist
# 生成的zip包在target/universal目录下

方式二：直接下载release包

wget https://github.com/yahoo/kafka-manager/releases/download/2.0.0.2/kafka-manager-2.0.0.2.zip
unzip kafka-manager-2.0.0.2.zip

三、配置与启动

1. 基础配置

修改conf/application.conf关键配置：

kafka-manager.zkhosts="zk1:2181,zk2:2181,zk3:2181"
kafka-manager.zkhosts=${?ZK_HOSTS}
application.secret="your_secret_key"

2. 启动服务

bin/kafka-manager -Dconfig.file=conf/application.conf \
                  -Dhttp.port=9000 \
                  -java-home /usr/java/jdk1.8.0_291

3. 后台运行

建议使用systemd管理：

# /etc/systemd/system/kafka-manager.service
[Unit]
Description=Kafka Manager
After=network.target

[Service]
User=kafka
ExecStart=/path/to/bin/kafka-manager -Dconfig.file=/path/to/conf/application.conf
Restart=always

[Install]
WantedBy=multi-user.target

四、基础使用指南

1. 添加Kafka集群

访问http://<host>:9000
点击”Cluster” > “Add Cluster”
填写配置：
- Cluster Name：生产集群
- ZooKeeper Hosts：zk1:2181,zk2:2181
- Kafka Version：选择对应版本
- 勾选”Enable JMX Polling”

2. Topic管理

创建Topic

进入集群 > Topics > Create
填写参数：
- Topic Name：test_topic
- Partitions：6
- Replication Factor：2
- 高级配置（可选）：
```
{
"retention.ms": "172800000",
"cleanup.policy": "delete"
}
```

分区扩容

选择Topic > “Add Partitions”
输入新增分区数（总分区数需大于原数量）

3. 消费者监控

进入”Consumers”标签页
查看各消费者组的：
- Lag情况
- 活跃消费者
- 消费进度

五、高级功能

1. 副本重分配

当需要平衡集群负载时： 1. 进入”Topics” > 选择Topic > “Generate Partition Assignments” 2. 选择目标Broker 3. 点击”Run Assignments”

2. Preferred Leader选举

解决Leader不均衡问题： 1. 进入”Brokers”视图 2. 点击”Run Preferred Replica Election”

3. JMX监控集成

需在Broker端开启JMX：

KAFKA_JMX_OPTS="-Dcom.sun.management.jmxremote -Dcom.sun.management.jmxremote.port=9999"

六、常见问题排查

1. 无法连接ZooKeeper

检查防火墙规则
验证ZK字符串格式：host:port,host:port/path

2. JMX数据获取失败

确认Broker开启JMX
检查kafka-manager.jmx.user和kafka-manager.jmx.password配置

3. 操作超时

调整超时参数：

kafka-manager.broker-view-thread-pool-size=16
kafka-manager.broker-view-update-seconds=30

七、安全配置建议

1. 启用基础认证

修改application.conf：

basicAuthentication.enabled=true
basicAuthentication.username="admin"
basicAuthentication.password="password"

2. SASL集成

配置JAAS文件：

-Djava.security.auth.login.config=/path/to/jaas.conf

八、替代方案

随着Kafka生态发展，也可考虑： - CMAK (原Kafka-Manager分支) - Kafka Web Console - Confluent Control Center（商业版）

注意：Kafka-Manager已停止维护，生产环境建议评估其他方案

最佳实践建议： 1. 为每个环境（dev/test/prod）部署独立实例 2. 定期备份conf/application.conf配置文件 3. 监控服务本身的资源使用情况（内存/线程数） “`