centos kafka网络调优

CentOS 上 Kafka 网络调优实操指南

一 操作系统网络与内核参数

• 建议将以下参数写入 /etc/sysctl.d/99-kafka.conf，执行 sysctl -p 生效；数值为生产常用起点，可按带宽与延迟目标微调。
• 关键参数与作用一览：
  • 避免 swap 抖动：vm.swappiness=1（尽量不使用 swap，降低长尾延迟）
  • 脏页刷写阈值：vm.dirty_background_ratio=5、vm.dirty_ratio=70（前台/后台刷脏比例，避免抖动与长时间停顿）
  • 套接字缓冲默认：net.core.rmem_default=4MB、net.core.wmem_default=4MB
  • TCP 套接字缓冲：net.ipv4.tcp_rmem=4096 65536 4MB、net.ipv4.tcp_wmem=4096 65536 4MB
  • 连接与队列：net.core.netdev_max_backlog=100000、net.ipv4.tcp_max_syn_backlog=5120
  • 窗口缩放：net.ipv4.tcp_window_scaling=1
• 说明：
  • 对于高带宽长肥管道（如 10GbE+），可适度增大 rmem/wmem 的上限（第三列），并配合应用层 socket 缓冲设置。
  • 脏页比例设置过大可能引发集中刷盘的长停顿，设置过小会增加后台写压力；建议结合监控持续校准。

二 文件描述符与进程限制

• 提高进程可打开文件数与进程数，避免 “Too many open files” 与连接数受限。
• 在 /etc/security/limits.conf 增加：
  • 示例：* soft nofile 65535、* hard nofile 65535、* soft nproc 65535、* hard nproc 65535
• 对 systemd 服务，需同时设置服务单元（示例）：
  • 在 /etc/systemd/system/kafka.service 的 [Service] 中加入：
    • LimitNOFILE=65535
    • LimitNPROC=65535
  • 执行：systemctl daemon-reload && systemctl restart kafka
• 验证：ulimit -n、ulimit -u 与服务内通过 JMX/日志确认生效。

三 Kafka 监听器与网络参数

• 正确暴露访问地址，避免内外网错配与连接超时：
  • listeners：Broker 实际监听的协议/地址/端口，如 PLAINTEXT://0.0.0.0:9092
  • advertised.listeners：对外发布的地址，客户端与 Broker 间通信使用；如 PLAINTEXT://your.kafka.host:9092
  • 注意：advertised.listeners 不支持 0.0.0.0；若 listeners 使用 0.0.0.0，必须显式配置 advertised.listeners
  • 如存在内外网，分别配置监听器并通过安全组/防火墙限制来源
• Broker 与网络线程、缓冲与请求限制（server.properties 起点建议）：
  • 线程：num.network.threads=3（网络读写），num.io.threads=8（磁盘 I/O）
  • 缓冲：socket.send.buffer.bytes=102400（100KB），socket.receive.buffer.bytes=102400（100KB）
  • 单请求上限：socket.request.max.bytes=104857600（100MB，需与业务与副本同步能力匹配）
• 说明：
  • 大消息/大批次场景，适当增大上述缓冲与请求上限，并确保上下游（Broker 间复制、客户端 fetch）一致。

四 传输层与应用层协同优化

• 压缩降低带宽占用：compression.type=snappy/lz4/zstd（在 CPU 允许下优先 lz4/zstd）
• Broker 间复制与消息大小一致性：
  • 若 topic 设置 max.message.bytes 较大（如 50MB），需同步提高 replica.fetch.max.bytes，否则副本同步易失败（默认 1MB 常导致问题）
• 接收端拉取控制：
  • fetch.min.bytes（如 1MB）与 fetch.max.wait.ms（如 500ms）配合，平衡吞吐与延迟
  • max.partition.fetch.bytes 与消费者 max.poll.records 联动，避免单次拉取过大导致处理阻塞或 OOM
• 建议：在压测中逐步调大批次与拉取参数，观察 P95/P99 延迟与错误率变化。

五 验证与监控要点

• 连通性与路由：
  • 使用 nc/telnet 验证 9092 端口可达；云环境核对安全组/NACL 与 DNS 解析
• 资源与队列：
  • 观察 netstat -s | grep -i listen 的丢包/溢出、ss -lntu 队列占用、/proc/net/sockstat 的 socket 使用情况
• 内核与 I/O：
  • 关注 vmstat 1、sar -n DEV 1、iostat -x 1，校准网络与磁盘瓶颈
• Kafka 内部指标：
  • 通过 JMX 或监控栈（如 Prometheus + JMX Exporter）观察 RequestHandlerAvgIdlePercent、NetworkProcessorAvgIdlePercent、BytesIn/BytesOutPerSec、RequestRate/ResponseRate、UnderReplicatedPartitions、ISRShrinks/Expands
• 脏页监控：
  • 观察 /proc/vmstat 的 nr_dirty、nr_writeback；脏页过高或集中刷盘时，优先校准 dirty_background_ratio/dirty_ratio。