CentOS Kafka配置常见问题及解决方案
现象：生产者发送消息速率远高于消费者处理速率，导致消息在Kafka中积压，监控系统频繁告警。
原因：消费者代码性能瓶颈（如同步阻塞、未批量处理）、Topic分区数不足（无法并行消费）、消费者组内成员分配不均（部分消费者负载过高）。
解决方案：优化消费者代码（改用异步非阻塞处理，如线程池；增大max.poll.records参数批量拉取消息）；增加Topic分区数（通过kafka-topics.sh --alter命令调整）；调整分区分配策略（使用RoundRobinAssignor替代默认的RangeAssignor，均衡消费者负载）。
现象：生产者确认发送成功，但消费者无法读取到对应消息。
原因：生产者未开启ACK确认（acks=0或1，仅Broker接收或Leader副本确认即返回）；Leader副本宕机且未同步到足够数量的Follower副本（数据未持久化）。
解决方案：生产者配置acks=all（确保所有ISR副本确认后才返回成功）；设置retries=3（自动重试失败的发送请求）；Broker配置min.insync.replicas=2（至少2个副本同步才允许写入，避免单点故障）。
现象：消费者重启或崩溃后，重复处理已成功处理的消息。
原因：消费者提交Offset失败（如崩溃前未调用commitSync）；自动提交间隔过长（auto.commit.interval.ms默认5秒，期间若消费者崩溃，未提交的Offset会丢失）。
解决方案：改为手动提交Offset（在消息处理完成后调用consumer.commitSync()，确保Offset持久化）；缩短自动提交间隔（如auto.commit.interval.ms=1000，每秒提交一次）。
现象：Broker无法写入新消息，Kafka服务异常（如日志报“Disk full”）。
原因：日志保留时间过长（log.retention.hours默认168小时，即7天）、日志段大小过大（log.segment.bytes默认1GB）、磁盘空间不足。
解决方案：紧急清理过期日志（使用kafka-delete-records.sh脚本删除指定Offset之前的消息）；调整保留策略（缩短log.retention.hours至24-72小时，或设置log.retention.bytes限制单个分区最大容量，如1GB）。
现象：Kafka集群频繁报“ZooKeeper session expired”错误，Controller节点频繁切换，集群稳定性下降。
原因：ZooKeeper会话超时时间过短（zookeeper.session.timeout.ms默认6000毫秒，若Broker处理延迟高，易触发超时）；ZooKeeper集群负载过高（如节点数不足、磁盘IO瓶颈）。
解决方案：增大zookeeper.session.timeout.ms（如18000毫秒，18秒）；优化ZooKeeper配置（如增加节点数至3或5，分离Kafka与ZooKeeper的物理资源，避免相互影响）。
现象：Kafka无法启动，报“Configuration file not found”或“Address already in use”错误。
原因：server.properties配置文件路径未正确指定（如启动脚本中--config参数指向不存在的目录）；默认端口（9092）被其他应用占用（如Nginx、Tomcat）。
解决方案：确认server.properties文件路径正确（通常位于/usr/lib/kafka/config/或自定义目录），并在启动脚本中正确指定（如kafka-server-start.sh -daemon /path/to/server.properties）；检查端口占用情况（netstat -tuln | grep 9092），修改listeners参数为未使用的端口（如9093）。
现象：Kafka无法连接到ZooKeeper，报“Connection refused”或“ZooKeeper not running”错误。
原因：zookeeper.connect参数配置错误（如IP地址错误、端口错误、未包含所有ZooKeeper节点）；ZooKeeper服务未启动（systemctl status zookeeper显示inactive）。
解决方案：检查zookeeper.connect参数格式（如PLAINTEXT://zk1.example.com:2181,PLAINTEXT://zk2.example.com:2181，需包含所有节点）；启动ZooKeeper服务（systemctl start zookeeper）并验证状态（systemctl status zookeeper）。
现象：Kafka进程频繁Full GC、响应延迟高，甚至因内存溢出（OOM）崩溃。
原因：JVM堆内存设置过小（-Xmx/-Xms不足，无法容纳消息缓存、元数据等）；未调整直接内存（-XX:MaxDirectMemorySize，用于网络数据包传输）或元数据缓存（-XX:MaxMetaspaceSize，用于存储Broker/Topic元数据）。
解决方案：调整JVM堆内存（如-Xms4G -Xmx4G，初始与最大堆内存一致，避免频繁扩展）；设置直接内存（如-XX:MaxDirectMemorySize=1G，根据网络吞吐量调整）；调整元数据缓存（如-XX:MaxMetaspaceSize=256M，避免元数据占用过多内存）；将上述参数添加到Kafka启动脚本（kafka-server-start.sh）或setenv.sh文件中。
现象：生产者/消费者无法连接到Kafka集群，报“UnknownHostException”或“Connection refused”错误。
原因：listeners参数未正确设置（如仅配置PLAINTEXT://:9092，未指定IP地址）；advertised.listeners参数错误（如指向内部IP，外部客户端无法访问）。
解决方案：listeners设置为PLAINTEXT://<broker_ip>:9092（明确指定Broker的IP地址）；advertised.listeners设置为客户端可访问的地址（如PLAINTEXT://<public_ip>:9092，若为云服务器需填写公网IP）。
现象：Kafka无法启动，报“Permission denied”错误；或日志文件无法写入，导致数据丢失。
原因：Kafka数据目录（log.dirs）或日志文件目录（logs.dir）的权限不足（如属于root用户，Kafka进程无法写入）。
解决方案：修改目录权限（chown -R kafka:kafka /var/lib/kafka，将数据目录所有者设为kafka用户）；确保Kafka进程以kafka用户身份运行（systemctl start kafka前，使用su - kafka切换用户）。