kafka于centos如何部署

在CentOS上部署Kafka的步骤如下：

1. 环境准备

• 安装JDK：Kafka是用Java编写的，因此需要先安装JDK。可以使用以下命令安装JDK 1.8：

  sudo yum install java-1.8.0-openjdk-devel
  java -version
  

• 下载和解压Kafka：从Apache Kafka官网下载Kafka的二进制文件，然后解压到指定目录。例如，下载Kafka 2.12.0版本：

  wget https://downloads.apache.org/kafka/2.12.0/kafka_2.12-2.12.0.tgz
  tar -xzvf kafka_2.12-2.12.0.tgz
  cd kafka_2.12-2.12.0
  

2. 配置Zookeeper

• 编辑Zookeeper配置文件：

  vi config/zoo.cfg
  

  修改以下配置项：

  tickTime=2000
  dataDir=/tmp/zookeeper
  clientPort=2181
  

• 启动Zookeeper：

  ./bin/zookeeper-server-start.sh config/zoo.cfg
  

3. 配置Kafka

• 编辑Kafka配置文件：

  vi config/server.properties
  

  修改以下配置项：

  broker.id=0
  listeners=SASL_PLAINTEXT://:9092
  security.inter.broker.protocol=SASL_PLAINTEXT
  sasl.enabled.mechanisms=PLAIN
  sasl.mechanism.inter.broker.protocol=PLAIN
  log.dirs=/tmp/kafka-logs
  zookeeper.connect=localhost:2181
  

• 创建Kafka目录：

  mkdir -p /tmp/kafka-logs
  

4. 启动Kafka服务

• 启动Kafka服务：

  ./bin/kafka-server-start.sh config/server.properties
  

5. 验证Kafka启动

• 创建一个主题：

  ./bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test
  

• 查看已创建的topic信息：

  ./bin/kafka-topics.sh --list --zookeeper localhost:2181
  

• 发送消息：

  ./bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test
  

• 消费消息：

  ./bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --from-beginning
  

6. 设置开机自启

• 创建Kafka服务文件：

  sudo vi /etc/systemd/system/kafka.service
  

  添加以下内容：

  [Unit]
  Description=Apache Kafka server
  After=network.target zookeeper.service
  
  [Service]
  Type=simple
  User=kafka
  Group=kafka
  ExecStart=/usr/local/kafka/bin/kafka-server-start.sh /usr/local/kafka/config/server.properties
  ExecStop=/usr/local/kafka/bin/kafka-server-stop.sh
  Restart=on-failure
  
  [Install]
  WantedBy=multi-user.target
  

• 启用并启动服务：

  sudo systemctl daemon-reload
  sudo systemctl enable kafka
  sudo systemctl start kafka
  

7. 防火墙配置

• 开放相关端口：

  sudo firewall-cmd --zone=public --add-port=2181/tcp --permanent
  sudo firewall-cmd --zone=public --add-port=9092/tcp --permanent
  sudo firewall-cmd --reload
  

8. 监控和日志管理

• 配置监控和日志管理工具：如Kafka Manager或Prometheus结合Grafana，以监控Kafka集群的健康状况和性能指标。

9. 性能优化

• TCP网络优化：

  sudo sysctl -w net.core.rmem_default=262144
  sudo sysctl -w net.core.rmem_max=2097152
  sudo sysctl -w net.core.wmem_default=262144
  sudo sysctl -w net.core.wmem_max=2097152
  

• 进程级资源限制优化：

  sudo vi /etc/security/limits.conf
  

  添加或修改以下行：

  * soft nofile 655360
  * hard nofile 655360
  * soft nproc 8096
  * hard nproc 8096
  

10. 数据备份与恢复

• 定期备份Kafka数据，并制定灾难恢复计划。

以上步骤是在CentOS上部署Kafka的基本流程，具体配置可能需要根据实际情况进行调整。