一、硬件优化：提升基础性能上限
二、Kafka配置优化：调整核心参数
num.partitions（分区数），分区是Kafka并行处理的基础，更多分区意味着更高的并发能力（需确保分区数≥消费者组内的消费者数量，避免消费者闲置）。batch.size（批量发送的字节大小，默认16KB，可增至128KB~512KB）和linger.ms（等待批量积累的时间，默认0ms，可设为5~100ms），通过批量发送减少网络请求次数。fetch.min.bytes（单次拉取的最小数据量，默认1字节，可设为1KB~1MB）和fetch.max.wait.ms（等待拉取数据的最大时间，默认500ms，可设为1~5s），减少拉取频率。compression.type（如snappy、lz4或gzip，snappy平衡压缩率与CPU开销），减少网络传输的数据量（压缩率通常为2~5倍）。num.network.threads（处理网络请求的线程数，默认3，高吞吐场景可设为8~16）和num.io.threads（处理磁盘IO的线程数，默认8，高负载时可设为16~32），提升并发处理能力。socket.send.buffer.bytes（发送缓冲区，默认100KB，可设为1MB）和socket.receive.buffer.bytes（接收缓冲区，默认100KB，可设为1MB），提高网络传输效率。三、操作系统优化：适配Kafka的高并发需求
ulimit -n 65536（临时生效）或修改/etc/security/limits.conf（永久生效，如* soft nofile 65536; * hard nofile 65536），避免因文件描述符不足导致连接拒绝。net.core.somaxconn（监听队列的最大长度，默认128，可设为1024~2048），避免连接排队溢出。net.ipv4.tcp_max_syn_backlog（SYN队列长度，默认1024，可设为2048~4096），应对高并发连接请求。net.ipv4.tcp_tw_reuse（复用TIME-WAIT状态的连接）和net.ipv4.tcp_fin_timeout（TIME-WAIT超时时间，默认60s，可设为30s），减少连接建立的开销。atd（定时任务守护进程）、cron（计划任务）等非必要服务，减少系统资源占用。四、JVM调优：减少GC停顿
-Xmx（最大堆内存）和-Xms（初始堆内存）为相同值（如4GB~8GB），避免堆内存动态扩展带来的性能波动（Kafka Broker的主要内存消耗为堆内存）。-XX:+UseG1GC），相比CMS（已废弃），G1GC在堆内存较大时仍能保持较低的GC停顿时间（可通过-XX:MaxGCPauseMillis设置目标停顿时间，如200ms）。-XX:InitiatingHeapOccupancyPercent=35（触发并发GC的堆占用率，默认45%，降低该值可提前触发GC，减少Full GC的概率）。五、数据存储优化：减少IO开销
log.segment.bytes（单个日志段的大小，默认1GB，可设为2GB~4GB），减少日志段的频繁切换（切换时会触发刷盘操作，影响性能）。log.retention.hours（日志保留时间，默认168小时/7天，可根据业务需求调整为24~72小时）。log.retention.bytes（单个Topic分区日志的最大大小，默认无限制，可设为100GB~200GB），避免日志无限增长占用磁盘空间。log.cleaner.enable=true（默认开启）和log.cleaner.dedupe.buffer.size（压缩缓冲区大小，默认512MB，可设为1GB~2GB），对旧数据进行压缩（仅保留最新版本的消息），减少存储占用和IO开销。六、监控与持续优化：动态调整配置
kafka-producer-perf-test.sh和kafka-consumer-perf-test.sh工具，模拟高吞吐场景（如10万条/秒的消息发送），验证配置优化的效果（如调整batch.size后，吞吐量是否提升）。kafka-reassign-partitions.sh工具重新分配分区，避免单个Broker负载过高）。