CentOS环境下Kafka配置的常见陷阱及规避方法
Kafka的核心配置文件（如server.properties）需放置在正确的安装目录（如/usr/lib/kafka/config）下，且启动时需通过--config参数明确指定路径（如kafka-server-start.sh --config /usr/lib/kafka/config/server.properties）。若路径错误，Kafka将无法加载配置，导致启动失败。此外，配置文件的读写权限需设置为kafka用户可访问（如chown -R kafka:kafka /usr/lib/kafka/config），避免权限不足引发的服务异常。
broker.id（如0、1、2），若多个节点配置相同，会导致Broker注册冲突，集群无法正常工作。PLAINTEXT://IP:PORT或PLAINTEXT://主机名:PORT）。若配置为localhost或内部IP，外部客户端将无法连接；若配置为域名，需确保域名能正确解析到Broker的IP地址。常见错误是未根据集群网络环境调整，导致客户端连接失败。Kafka默认使用9092端口（plaintext协议）、9093端口（SSL协议），ZooKeeper默认使用2181端口。若这些端口被其他应用（如Nginx、MySQL）占用，Kafka将无法启动。需通过netstat -tuln | grep 端口号检查端口占用情况，修改server.properties中的listeners参数（如listeners=PLAINTEXT://0.0.0.0:9092）更换端口。同时，需通过firewall-cmd --add-port=9092/tcp --permanent和firewall-cmd --reload开放防火墙端口，避免网络隔离导致客户端无法访问。
Kafka依赖Java 1.8及以上版本，需确保系统已安装正确版本的JDK（通过java -version验证）。此外，需设置JAVA_HOME环境变量（如export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk），并在Kafka启动脚本（如kafka-server-start.sh）中引用（如export KAFKA_HEAP_OPTS="-Xms4G -Xmx4G"）。若JAVA_HOME未设置或版本不符，Kafka将无法启动或运行不稳定。
Kafka的内存使用分为JVM堆内存（用于处理消息缓存、请求队列等）和直接内存（用于网络数据包传输）。常见陷阱包括：
-Xms4G -Xmx4G）。-XX:MaxDirectMemorySize（如-XX:MaxDirectMemorySize=1G），可能导致网络传输性能瓶颈。log.flush.interval.messages（日志刷新间隔消息数，默认4096）和log.flush.interval.ms（日志刷新间隔毫秒数，默认1000）设置过小，会增加磁盘IO次数，影响性能；设置过大，可能导致数据丢失风险增加。需根据业务需求平衡性能与可靠性。Kafka依赖ZooKeeper实现集群协调（如Broker注册、Leader选举、分区管理）。常见陷阱包括：
systemctl start zookeeper），并通过echo stat | nc localhost 2181检查其状态。zookeeper.connect参数（如zookeeper.connect=localhost:2181）需指向正确的ZooKeeper集群地址（多个节点用逗号分隔，如localhost:2181,192.168.1.2:2181）。若配置错误，Kafka将无法连接到ZooKeeper，导致集群无法正常工作。kafka-topics.sh --alter --topic 订单日志 --partitions 6 --bootstrap-server localhost:9092）。default.replication.factor，默认1）超过可用Broker数量，会导致Topic创建失败（报错“Replication factor: X larger than available brokers: Y”）。需确保副本因子小于等于Broker数量（如3个Broker可设置副本因子为2或3）。默认情况下，Kafka的日志保留时间为7天（log.retention.hours=168），日志段大小为1GB（log.segment.bytes=1073741824）。若保留时间过长或日志段过小，会导致磁盘空间快速耗尽（尤其是高吞吐量场景），引发Broker罢工（报错“Disk full”）。需根据磁盘容量调整：
log.retention.hours=24，保留1天）；log.segment.bytes=2147483648，2GB）；log.retention.bytes=1073741824，1GB），超过则自动清理旧日志。auto.commit.interval.ms=5000（5秒），若消费者在此期间崩溃，会导致消息重复消费。建议缩短间隔（如auto.commit.interval.ms=1000，1秒）或关闭自动提交（enable.auto.commit=false），改为手动提交（consumer.commitSync()）。session.timeout.ms=10000，10秒）或未及时发送心跳，会触发重平衡（所有消费者停止消费，重新分配分区），导致消费暂停。需调整max.poll.interval.ms（单次poll最大间隔，默认5分钟）和session.timeout.ms（会话超时时间，默认10秒），优化消息处理逻辑（如使用线程池异步处理）。acks参数控制生产者发送消息的可靠性：
acks=0：生产者不等待Broker确认，消息可能丢失（Broker宕机或网络故障时）；acks=1：生产者等待Leader副本确认，若Leader宕机且未同步到Follower，消息可能丢失；acks=all（或acks=-1）：生产者等待所有ISR（同步副本）确认，可靠性最高，但延迟较高。acks=all，并配合min.insync.replicas=2（至少2个副本确认才允许写入），避免数据丢失。