CentOS Kafka配置中常见误区有哪些

一、配置文件与路径问题

• 配置文件路径错误：未正确指定server.properties等核心配置文件的路径，或在启动Kafka时未通过--config参数指定路径，导致Kafka无法加载配置。
• listeners与advertised.listeners配置错误：listeners用于定义Kafka Broker监听的本地地址和端口，advertised.listeners用于向客户端公布可访问的地址（需包含机房、域名等信息）。若advertised.listeners配置错误（如使用内网IP但客户端从公网访问），会导致客户端无法连接Broker。

二、ZooKeeper依赖问题

• ZooKeeper未启动或连接异常：Kafka依赖ZooKeeper管理集群元数据（如Topic、分区、副本信息），若ZooKeeper服务未启动或网络不通，Kafka Broker将无法启动，报错如“Connection refused”。
• ZooKeeper会话超时：若Kafka与ZooKeeper之间的网络波动较大，可能导致会话超时（默认zookeeper.session.timeout.ms=18000），触发Controller频繁切换，影响集群稳定性。

三、内存与资源分配问题

• JVM堆内存配置不当：未根据Broker负载调整KAFKA_HEAP_OPTS（如-Xmx512M -Xms512M），若堆内存过小，会导致OutOfMemoryError: Java heap space；若过大，会增加Full GC时间，影响性能。
• 磁盘空间不足：未监控log.dirs（消息存储目录）的磁盘空间，若磁盘写满，Broker将停止接收新消息，报错如“No space left on device”。
• 堆外内存不足：Kafka的网络IO使用堆外内存（DirectBuffer），若-XX:MaxDirectMemorySize设置过小（默认无限制，但建议根据实际情况调整），会导致OutOfMemoryError: Direct buffer memory。

四、Topic与分区配置问题

• 分区数不足：创建Topic时未合理设置num.partitions（默认1），导致消费并行度低，无法应对高吞吐量场景（如生产者发送速度快于消费者处理速度，引发消息堆积）。
• 副本因子配置不合理：default.replication.factor（默认1）大于集群Broker数量，导致副本无法同步（如3节点集群设置副本因子为4，会报错“Not enough in-sync replicas”）；或副本因子过小（如1），无法保证数据高可用（Leader副本宕机后，分区不可用）。

五、生产者与消费者配置问题

• 生产者数据丢失：未开启acks=all（要求所有ISR副本确认后才返回成功），或min.insync.replicas（最小同步副本数）设置过小（如1），当Leader副本宕机且未同步到Follower时，数据会丢失。
• 消费者重复消费：使用自动提交Offset（enable.auto.commit=true，默认开启）且auto.commit.interval.ms（自动提交间隔，默认5秒）过长，若消费者崩溃前未提交Offset，重启后会重复消费已提交的消息；或消费者处理消息时间过长（超过max.poll.interval.ms，默认5分钟），触发重平衡，导致Offset提交失败。
• 消费者组重平衡频繁：session.timeout.ms（心跳超时时间，默认10秒）过小，若消费者处理消息时间过长，无法及时发送心跳，Group Coordinator会认为消费者下线，触发重平衡；或max.poll.records（每次拉取的消息数，默认500）过大，导致单次处理时间过长。

六、网络与端口问题

• 端口冲突：Kafka默认使用9092端口（listeners=PLAINTEXT://:9092），若该端口被其他应用（如Nginx、Redis）占用，Broker无法启动，报错如“Address already in use”。
• 防火墙未开放端口：CentOS系统默认开启防火墙（firewalld或iptables），未开放Kafka端口（如9092）和ZooKeeper端口（如2181），导致客户端无法连接Broker或Broker无法连接ZooKeeper。

七、系统环境问题

• Java环境不兼容：Kafka 2.x及以上版本需要Java 8或更高版本，若使用Java 7或更低版本，会报错如UnsupportedClassVersionError。
• 操作系统参数未优化：vm.swappiness（swap使用比例，默认60）设置过高，当物理内存不足时，系统会频繁将内存数据交换到swap分区，影响Kafka性能（建议设置为1-10）；ulimit -n（文件描述符限制，默认1024）过小，导致Kafka无法处理大量并发连接（建议设置为65535）。