Kafka配置CentOS有哪些实用建议

1. 系统环境准备

• Java环境：Kafka依赖Java运行环境，需安装JDK 1.8或更高版本（推荐OpenJDK）。通过sudo yum install java-1.8.0-openjdk-devel -y安装，安装后用java -version验证是否成功。
• Zookeeper依赖：Kafka需Zookeeper管理集群元数据，需先部署Zookeeper。可单独安装或使用Kafka自带的Zookeeper（需修改zookeeper.properties中的dataDir和clientPort）。

2. Kafka配置文件优化（server.properties）

• 唯一标识与监听配置：broker.id需设置为集群中唯一的整数（如0、1）；listeners指定Broker监听的协议和地址（如PLAINTEXT://your_server_ip:9092）；advertised.listeners需设置为外部客户端可访问的地址（如PLAINTEXT://your_public_ip:9092），确保客户端能正确连接。
• 数据与Zookeeper路径：log.dirs指定Kafka日志存储目录（如/var/lib/kafka/logs），建议使用独立分区并挂载为XFS文件系统（开启noatime选项）；zookeeper.connect填写Zookeeper集群地址（如localhost:2181或zk1:2181,zk2:2181,zk3:2181）。
• 分区与副本设置：num.partitions设置主题的初始分区数（建议与消费者线程数匹配，如4-8个）；default.replication.factor设置副本数（生产环境建议≥3，以提高数据可靠性，但会增加网络开销）。

3. 操作系统性能调优

• 内核参数优化：修改/etc/sysctl.conf文件，设置vm.swappiness=1（减少swap使用，避免磁盘IO瓶颈）；vm.dirty_background_ratio=10、vm.dirty_ratio=60（控制脏页刷新时机，平衡磁盘IO与写入性能）；net.core.rmem_default=262144、net.core.wmem_default=262144（调整网络缓冲区大小，提高网络吞吐量）；net.ipv4.tcp_wmem=4096 16384 4194304、net.ipv4.tcp_rmem=4096 87380 4194304（优化TCP缓冲区，提升网络传输效率）；vm.max_map_count=655360（增加内存映射区域数量，支持更多并发连接）。
• 文件系统选择：推荐使用XFS文件系统（对大文件和高并发读写支持更好），挂载时添加noatime选项（减少文件访问时间记录，降低磁盘IO）。

4. 资源分配与硬件选择

• 磁盘：使用高性能SSD（如NVMe SSD），避免HDD（随机IO性能差，会导致消息延迟升高）；确保磁盘空间充足（建议预留50%以上空间，避免因日志满导致Broker崩溃）。
• 内存与CPU：分配足够内存给Kafka Broker（建议≥8GB，根据数据量调整），JVM堆内存设置为物理内存的1/4-1/2（如-Xmx4G -Xms4G）；使用多核CPU（建议≥4核），Kafka的多线程模型能有效利用多核资源。
• 网络：确保Kafka集群节点间网络带宽充足（如千兆或万兆网络），减少网络延迟（建议延迟≤5ms）；关闭不必要的网络服务，避免占用带宽。

5. 安全配置

• 认证与加密：启用SASL认证（如PLAIN机制），配置security.inter.broker.protocol=SASL_PLAINTEXT、sasl.enabled.mechanisms=PLAIN，并通过kafka_server_jaas.conf文件设置用户名密码；生产环境建议启用SSL/TLS加密（listeners=SASL_SSL://your_server_ip:9092），保护数据传输安全。
• 防火墙设置：开放Kafka所需端口（如9092用于Broker通信、2181用于Zookeeper），使用firewall-cmd命令添加规则：sudo firewall-cmd --zone=public --add-port=9092/tcp --permanent、sudo firewall-cmd --zone=public --add-port=2181/tcp --permanent，然后执行sudo firewall-cmd --reload使规则生效。

6. 监控与维护

• 监控工具：集成第三方监控工具（如Prometheus+Grafana），监控Kafka集群的关键指标（如Broker的CPU、内存、磁盘IO、网络吞吐量；Topic的分区数、副本同步状态；消费者的消费延迟）；也可使用Kafka自带的JMX指标（如kafka.server:type=BrokerTopicMetrics,name=MessagesInPerSec）。
• 日志管理：定期清理Kafka日志文件（通过log.retention.ms设置日志保留时间，如168h表示保留7天）；使用log.cleanup.policy=delete（删除旧日志）或compact（压缩日志，适用于变更日志场景）策略，避免磁盘空间耗尽。
• 开机自启：创建systemd服务单元文件（如/etc/systemd/system/kafka.service），配置Kafka和Zookeeper开机自动启动，确保系统重启后服务自动恢复。