一、硬件层面优化
KAFKA_HEAP_OPTS设置-Xmx和-Xms，建议占总内存的70%~80%），避免过大导致GC停顿；依赖Linux页缓存（Page Cache）缓存热点数据，减少直接磁盘I/O操作。tcp_nodelay开启无延迟发送、tcp_keepalive_time优化连接保活），降低网络延迟。二、操作系统参数调优
ulimit -n 65535（临时生效）或修改/etc/security/limits.conf（永久生效），避免因描述符不足导致连接拒绝。vm.swappiness（建议设为10以下，减少内存交换）、vm.dirty_background_ratio（脏页比例阈值，建议设为5%~10%，控制后台刷盘时机）、vm.dirty_ratio（脏页上限，建议设为10%~20%，避免内存耗尽），优化内存与磁盘I/O平衡。三、Kafka配置参数优化
log.segment.bytes（默认1GB，可根据磁盘容量调整为2~4GB），控制单个日志段大小，减少索引文件数量（每个日志段对应.index和.timeindex文件），提升查找效率；log.retention.hours（建议7~168小时，如7天）或log.retention.bytes（按磁盘空间限制），自动清理过期数据，避免磁盘空间耗尽；log.cleanup.policy（默认delete，可启用compact用于关键业务数据的压缩去重）。num.io.threads（默认8）：设置为CPU核心数的2倍，处理磁盘读写、日志分段等I/O操作；num.network.threads（默认3）：根据网络吞吐量调整（如万兆网卡可设为8），处理客户端请求。batch.size（默认16KB，建议128KB~1MB），合并多个小消息为一个批次发送；设置linger.ms（默认0，建议50~100ms），等待更多消息加入批次，减少网络请求次数；启用compression.type（如snappy、lz4，推荐lz4，压缩率更高且延迟低），减少网络传输量和磁盘占用；fetch.min.bytes（默认1B，建议1MB）、fetch.max.wait.ms（默认500ms，建议1000ms），批量拉取消息，提高消费效率。num.partitions（分区数）：根据业务并发需求设置（如每秒10万条消息可设为100~200个分区），提高并行处理能力；确保数据均匀分布在各分区（通过partitioner.class自定义分区策略，避免热点分区）；default.replication.factor（默认3）：根据数据可靠性需求设置（如允许少量数据丢失可设为2，高可靠性场景保持3），权衡写入性能与容错能力（副本数越多，同步开销越大）。四、利用零拷贝与索引优化
sendfile系统调用（默认开启），将数据直接从磁盘通过内核缓冲区发送到网卡，减少数据在用户空间与内核空间的拷贝次数（约减少3次拷贝），显著提升数据传输效率。.index文件），记录消息的物理偏移量与逻辑偏移量的映射关系；合理设置log.index.interval.bytes（默认4KB，即每写入4KB数据记录一次索引），平衡索引查询速度与索引文件大小（间隔越小，查询越快，但索引文件越大）。五、监控与维护
UnderReplicatedPartitions、消息堆积数），实时掌握集群状态；设置告警规则（如磁盘空间剩余10%时告警、未同步副本数超过1时告警），及时处理性能瓶颈。server.log、controller.log，保留7~30天），避免日志文件占用过多磁盘空间；定期升级Kafka版本（修复已知bug、提升性能），确保集群稳定性。