Centos7下怎么安装kafka-manager

发布时间：2022-02-17 09:41:57 作者：iii
来源：亿速云阅读：173

# CentOS7下怎么安装kafka-manager

## 前言

Kafka作为当前最流行的分布式消息队列系统，在大数据领域有着广泛的应用。而kafka-manager（现更名为CMAK）是雅虎开源的一款用于管理Apache Kafka集群的Web工具，提供了直观的集群监控、主题管理、消费者组查看等功能。本文将详细介绍在CentOS7系统上安装部署kafka-manager的完整过程。

## 环境准备

### 系统要求
- CentOS 7.x 操作系统
- 至少2GB内存（建议4GB以上）
- JDK 1.8或更高版本
- Kafka集群（已提前部署）

### 软件依赖安装

```bash
# 安装基础工具
sudo yum install -y wget git unzip

# 安装JDK（如果尚未安装）
sudo yum install -y java-1.8.0-openjdk-devel

# 验证Java安装
java -version

安装步骤

1. 下载kafka-manager

官方GitHub仓库地址：https://github.com/yahoo/CMAK

# 创建安装目录
mkdir -p /opt/kafka-manager
cd /opt/kafka-manager

# 下载最新版本（以3.0.0.5为例）
wget https://github.com/yahoo/CMAK/releases/download/3.0.0.5/cmak-3.0.0.5.zip

# 解压安装包
unzip cmak-3.0.0.5.zip

2. 配置kafka-manager

进入解压后的目录：

cd cmak-3.0.0.5

修改配置文件conf/application.conf：

vim conf/application.conf

关键配置项示例：

# Kafka集群配置（可配置多个）
kafka-manager.zkhosts="your-zookeeper-host:2181"
kafka-manager.zkhosts=${?ZK_HOSTS}

# 应用基础配置
cmak.zkhosts="localhost:2181"
cmak.port=9000
cmak.basicAuth.enabled=true
cmak.basicAuth.username="admin"
cmak.basicAuth.password="password123"

注意：生产环境务必启用basicAuth并设置强密码

3. 启动kafka-manager

前台启动（测试用）：

bin/cmak

后台启动（生产环境）：

nohup bin/cmak -Dconfig.file=conf/application.conf -Dhttp.port=9000 > /var/log/kafka-manager.log 2>&1 &

使用systemd管理服务

创建service文件：

sudo vim /etc/systemd/system/kafka-manager.service

内容示例：

[Unit]
Description=Kafka Manager
After=network.target

[Service]
User=root
ExecStart=/opt/kafka-manager/cmak-3.0.0.5/bin/cmak -Dconfig.file=/opt/kafka-manager/cmak-3.0.0.5/conf/application.conf
Restart=always

[Install]
WantedBy=multi-user.target

启用并启动服务：

sudo systemctl daemon-reload
sudo systemctl enable kafka-manager
sudo systemctl start kafka-manager

检查服务状态：

sudo systemctl status kafka-manager

4. 防火墙配置

如果启用了防火墙，需要开放9000端口：

sudo firewall-cmd --zone=public --add-port=9000/tcp --permanent
sudo firewall-cmd --reload

访问与使用

浏览器访问

在浏览器中输入：http://your-server-ip:9000

首次登录使用配置文件中设置的用户名密码（示例中为admin/password123）

添加Kafka集群

点击”Cluster” > “Add Cluster”
填写集群信息：
- Cluster Name：自定义名称
- Cluster Zookeeper Hosts：Zookeeper连接地址
- Kafka Version：选择对应版本
点击”Save”

主要功能界面

Dashboard：集群概览，显示Broker状态、主题数量等
Topics：主题管理，可创建/删除主题、查看分区信息
Consumers：消费者组监控
Brokers：Broker节点详细信息

常见问题解决

1. 启动时报java.nio.BufferUnderflowException

java.nio.BufferUnderflowException: null

解决方案：确保使用兼容的Kafka版本，检查application.conf中的版本配置

2. 连接Zookeeper失败

Could not connect to zookeeper within timeout: 30000

检查： - Zookeeper服务是否正常运行 - 防火墙是否阻止连接 - 配置的zkhosts是否正确

3. 内存不足导致崩溃

在启动脚本中增加JVM参数：

bin/cmak -J-Xms1024M -J-Xmx2048M -J-server

4. 页面访问缓慢

可能是JMX端口未正确配置，在集群配置中启用JMX：

Cluster Zookeeper Hosts: your-zk:2181
Kafka Version: 2.4.0
Enable JMX Polling: [✓]
JMX User: (可选)
JMX Password: (可选)

高级配置

使用MySQL作为后端存储

默认使用Zookeeper存储配置，可改为MySQL：

修改application.conf：

db.default.driver=com.mysql.jdbc.Driver
db.default.url="jdbc:mysql://localhost:3306/kafka_manager"
db.default.user=username
db.default.password=password

创建数据库并授权

配置HTTPS访问

生成或获取SSL证书
修改启动参数：

bin/cmak -Dhttps.port=9443 -Djavax.net.ssl.keyStore=/path/to/keystore.jks -Djavax.net.ssl.keyStorePassword=yourpassword

性能优化建议

JVM调优：根据服务器配置调整堆内存大小

export JAVA_OPTS="-Xms2G -Xmx4G -XX:MaxMetaspaceSize=512M"

定期清理：设置自动清理旧监控数据
```
kafka-manager.offset-cache-expire=30
```
集群分片：大型集群建议部署多个kafka-manager实例分担负载

安全建议

始终启用Basic认证
限制访问IP（通过防火墙或Nginx）
定期备份conf/application.conf文件
及时更新到最新版本

总结

通过本文的详细步骤，您应该已经成功在CentOS7上部署了kafka-manager。作为Kafka集群管理的可视化工具，kafka-manager能显著提升运维效率。建议结合监控系统（如Prometheus+Grafana）实现更全面的监控方案。

注意：kafka-manager已更名为CMAK，但基本功能和使用方法保持不变。建议关注GitHub仓库获取最新更新。 “`

该文档共计约1850字，包含了从环境准备到高级配置的完整安装指南，采用Markdown格式编写，可直接用于技术文档发布。