Kafka消息传输在Linux上的优化策略
使用ext4或XFS文件系统（XFS对大文件和高并发支持更优），挂载时添加noatime选项（禁用文件访问时间更新，减少不必要的磁盘写操作）。例如，XFS挂载命令：mount -o noatime /dev/sdb1 /kafka/logs。
vm.swappiness（默认60，建议设为10以下）：减少系统使用交换分区（Swap）的概率，避免因内存不足导致进程被OOM Killer终止。vm.dirty_ratio（脏页占比，建议设为20）和vm.dirty_background_ratio（后台刷脏页阈值，建议设为10）控制磁盘写入频率，平衡性能与数据安全性。deadline或noop）适合顺序I/O，避免随机写带来的性能损耗。log.flush.interval.messages（如10000条消息）和log.flush.interval.ms（如1000毫秒）平衡数据安全性和吞吐量（异步刷盘可提高吞吐，但需承担少量数据丢失风险）。根据服务器内存大小合理分配JVM堆内存（建议占总内存的1/3-1/2），并将-Xms（初始堆）与-Xmx（最大堆）设为相同值，避免堆内存动态扩展带来的性能开销。例如：export KAFKA_HEAP_OPTS="-Xms8G -Xmx8G"。
使用G1GC垃圾回收器（适用于大内存堆），并通过以下参数优化GC性能：
-XX:MaxGCPauseMillis=200：设置最大GC暂停时间为200毫秒（平衡吞吐与延迟）；-XX:InitiatingHeapOccupancyPercent=45：当堆占用率达到45%时触发并发GC周期，避免Full GC。default.replication.factor=3（生产环境建议3副本），确保数据高可用；min.insync.replicas=2（至少2个副本同步成功才返回成功），避免因单副本故障导致数据丢失。batch.size（如32KB-1MB）和linger.ms（如10-100毫秒）调整批量大小和等待时间，增加单次请求的消息量，减少网络请求次数（提高吞吐量，但会增加延迟）。compression.type（如gzip、snappy或lz4），减少网络传输和存储开销（snappy压缩率高且延迟低，适合大多数场景）。num.network.threads（处理网络请求的线程，默认3，建议设为8）和num.io.threads（处理磁盘IO的线程，默认8，建议设为16），根据Broker负载增加线程数（提升并发处理能力）。socket.send.buffer.bytes（发送缓冲区，默认100KB）和socket.receive.buffer.bytes（接收缓冲区，默认100KB），设为1MB左右（提高网络传输效率）。socket.request.max.bytes（单个请求最大大小，默认100MB），设为100MB-500MB（避免大消息被拒绝）。调整内核TCP参数以提升网络吞吐和连接稳定性：
net.core.somaxconn=32768：增加TCP连接队列长度，避免连接被拒绝；net.ipv4.tcp_max_syn_backlog=8192：增加SYN队列长度，处理高并发连接请求；net.core.rmem_max=16MB和net.core.wmem_max=16MB：增大TCP读写缓冲区；net.ipv4.tcp_rmem="4096 87380 16MB"和net.ipv4.tcp_wmem="4096 65536 16MB"：设置TCP读写缓冲区的最小、默认、最大值（动态调整缓冲区大小）。Kafka需要处理大量并发连接，需增加文件描述符限制：
ulimit -n 65536（仅当前会话有效）；/etc/security/limits.conf，添加kafka soft nofile 65536和kafka hard nofile 65536（kafka为用户或组名）。使用Prometheus+Grafana监控Kafka集群的关键指标，包括：
log.retention.hours（如168小时，即7天）和log.retention.bytes（如10GB）设置日志保留时间和大小，避免日志文件占用过多磁盘空间；