kafka在centos上的部署步骤是什么

在 CentOS 上部署 Kafka 的标准步骤

一 环境准备

• 安装 Java 8（Kafka 3.x 推荐）：执行命令：sudo yum install java-1.8.0-openjdk-devel -y，完成后用 java -version 验证。
• 建议准备 多台 CentOS 主机（如需集群），并配置 主机名解析 与 免密 SSH（便于批量分发与维护）。
• 开放防火墙端口：Kafka 默认 9092，Zookeeper 2181，执行：sudo firewall-cmd --zone=public --add-port=9092/tcp --permanent && sudo firewall-cmd --reload。
• 建议 时间同步（NTP），避免元数据与副本一致性异常。

二 安装与目录规划

• 下载并解压 Kafka（示例为 3.5.2）：
  • wget https://downloads.apache.org/kafka/3.5.2/kafka_2.12-3.5.2.tgz
  • tar -xzf kafka_2.12-3.5.2.tgz -C /opt && mv /opt/kafka_2.12-3.5.2 /opt/kafka
• 规划目录（示例）：
  • Kafka 日志：/var/lib/kafka/logs
  • Zookeeper 数据：/var/lib/zookeeper
• 可选：将 Kafka bin 加入 PATH，便于执行脚本：echo 'export PATH=$PATH:/opt/kafka/bin' >> ~/.bashrc && source ~/.bashrc。

三 配置与启动

• 方式 A 内置 Zookeeper（快速上手）
  • 配置：/opt/kafka/config/zookeeper.properties 中设置 dataDir=/var/lib/zookeeper 与 clientPort=2181。
  • 启动：nohup /opt/kafka/bin/zookeeper-server-start.sh /opt/kafka/config/zookeeper.properties > /var/log/zookeeper.log 2>&1 &。
• 方式 B 外部 Zookeeper（生产更常见）
  • 在每台 Zookeeper 节点配置 zoo.cfg 的 server.X=host:2888:3888，并启动 Zookeeper 集群。
• 配置 Kafka Broker（每个节点不同）
  • 编辑 /opt/kafka/config/server.properties：
    • broker.id：节点唯一 ID（如 0、1、2）。
    • listeners=PLAINTEXT://0.0.0.0:9092（或指定内网 IP）。
    • advertised.listeners=PLAINTEXT://<本机IP或域名>:9092（外部客户端访问地址）。
    • log.dirs=/var/lib/kafka/logs。
    • zookeeper.connect=zk1:2181,zk2:2181,zk3:2181（外部 ZK 用逗号分隔）。
• 启动 Kafka：nohup /opt/kafka/bin/kafka-server-start.sh /opt/kafka/config/server.properties > /var/log/kafka.log 2>&1 &。
• 验证进程：jps 应能看到 QuorumPeerMain（Zookeeper）与 Kafka。

四 功能验证与常用命令

• 创建主题（示例）：
  • bin/kafka-topics.sh --create --topic test --bootstrap-server <任一BrokerIP>:9092 --partitions 3 --replication-factor 2。
• 查看主题：bin/kafka-topics.sh --list --bootstrap-server <任一BrokerIP>:9092。
• 生产消息：bin/kafka-console-producer.sh --topic test --bootstrap-server <任一BrokerIP>:9092。
• 消费消息：bin/kafka-console-consumer.sh --topic test --from-beginning --bootstrap-server <任一BrokerIP>:9092。
• 查看主题详情：bin/kafka-topics.sh --describe --topic test --bootstrap-server <任一BrokerIP>:9092。
• 旧版工具兼容：部分老版本命令仍支持 --zookeeper localhost:2181。

五 高可用与运维要点

• 集群规划：至少 3 个 Broker、3 个 Zookeeper 节点；主题副本数建议 ≥ 3，分区数按吞吐与并行度设计。
• 可靠性参数：生产环境建议 acks=all、min.insync.replicas=2，提升数据持久性与可用性。
• 资源与性能：为 Broker 设置堆内存，例如 export KAFKA_HEAP_OPTS="-Xms4G -Xmx4G"；磁盘优先 SSD，并合理规划 log.dirs。
• 监控与维护：开启 JMX 监控，结合脚本或第三方工具（如 Kafka Manager）巡检集群状态与延迟。
• 安全建议：公网访问时启用 SASL/SSL 认证与加密，限制来源网段，避免使用默认端口与弱口令。