Kafka在Debian上的资源消耗控制策略
kafka-server-start.sh中的KAFKA_HEAP_OPTS参数，如-Xms10G -Xmx10G），避免过大堆内存导致频繁Full GC；剩余内存留给操作系统用于页缓存。num.network.threads（网络请求处理线程）为CPU核心数+1、num.io.threads（磁盘I/O线程）为CPU核心数×2，平衡网络与磁盘处理负载。log.dirs设置为多个磁盘目录（如/data1/kafka,/data2/kafka），分散I/O负载；配置log.segment.bytes（日志段大小）为2-4GB（减少段文件数量，降低文件系统开销），log.retention.hours（日志保留时间）根据业务需求设置为24-72小时（避免磁盘空间浪费）。KAFKA_HEAP_OPTS调整堆内存大小（如-Xms8G -Xmx8G），避免频繁扩容；启用G1GC垃圾回收器（适合Kafka的大内存、低延迟需求），设置-XX:+UseG1GC -XX:MaxGCPauseMillis=100（目标最大GC停顿时间为100ms），减少GC对系统性能的影响。-XX:MaxDirectMemorySize设置为堆内存的1-2倍（如-XX:MaxDirectMemorySize=16G），避免直接内存溢出（OOM）。buffer.memory（生产者缓冲区大小，控制批量发送的内存上限）为3-6GB、batch.size（每个批次的大小，提升批量发送效率）为1-2MB、linger.ms（生产者等待批量发送的时间，增加延迟换取吞吐量）为5-100ms，平衡内存使用与吞吐量。log.cleaner.enable=true（启用日志压缩，减少重复数据占用空间）；设置log.cleanup.policy=delete（纯日志场景禁用压缩，提升清理效率）；调整log.retention.bytes（每个分区的最大日志大小，如100GB），避免单个分区过大导致清理耗时过长。log.dirs分布在多个物理磁盘（如3块NVMe SSD），利用多磁盘并行I/O提升性能；num.io.threads设置为CPU核心数的2倍（如24核设置为48），处理磁盘读写请求；避免单个分区过大（如超过50GB），减少索引文件维护开销。vm.swappiness=1（降低swap使用，避免磁盘I/O瓶颈）；调整vm.dirty_background_ratio=5、vm.dirty_ratio=10（控制脏页刷新频率，平衡内存与磁盘I/O）；增加vm.max_map_count=262144（提升内存映射文件性能，适合Kafka的大量文件操作）。quota.producer.default（生产者默认带宽，如100MB/s）、quota.consumer.default（消费者默认带宽，如50MB/s）；若需更细粒度控制，可使用kafka-configs.sh命令动态调整特定客户端的带宽（如--alter --entity-type clients --entity-name client1 --add-config producer_byte_rate=200000，单位为字节/秒）。num.network.threads为CPU核心数+1（如24核设置为25），处理网络请求；优化操作系统网络缓冲区（net.core.rmem_max=16777216、net.core.wmem_max=16777216，单位为字节），提升网络吞吐量；避免跨机房部署（减少网络延迟，降低带宽消耗）。kafka.server:type=BrokerTopicMetrics,name=MessagesInPerSec（消息流入速率）、kafka.server:type=SocketServer,name=NetworkProcessorAvgIdlePercent（网络线程空闲率）、kafka.server:type=Log,name=LogEndOffset（日志偏移量））；通过kafka-consumer-groups.sh命令监控消费延迟（如--describe --group my-group），及时发现消费滞后问题。kafka-producer-perf-test.sh（生产者压测）和kafka-consumer-perf-test.sh（消费者压测）模拟高负载场景，评估集群资源瓶颈（如CPU、内存、磁盘I/O）；根据压测结果调整配置（如增加num.io.threads、扩大buffer.memory）。