Kafka配置CentOS网络如何优化

Kafka 在 CentOS 的网络优化清单

一 系统内核网络参数

• 建议新建配置文件并应用：/etc/sysctl.d/99-kafka.conf，核心参数示例如下（按带宽与延迟调优，单位均为字节或个数）：
  • 启用窗口缩放与扩大连接队列
    • net.ipv4.tcp_window_scaling = 1
    • net.ipv4.tcp_max_syn_backlog = 5120
    • net.core.netdev_max_backlog = 100000
  • 提升 TCP 读写缓冲区的上下限（为长肥管道与高吞吐服务）
    • net.core.rmem_default = 4194304
    • net.core.wmem_default = 4194304
    • net.core.rmem_max = 16777216
    • net.core.wmem_max = 16777216
    • net.ipv4.tcp_rmem = 4096 65536 16777216
    • net.ipv4.tcp_wmem = 4096 65536 16777216
  • 说明：增大缓冲区有利于高带宽/高延迟链路与大消息场景，但会提升每个连接的内存占用，需结合并发连接数评估。应用方式：sysctl -p /etc/sysctl.d/99-kafka.conf。

二 文件描述符与内核内存行为

• 提升进程可打开文件数与进程数（Kafka 连接与日志文件很多）
  • /etc/security/limits.conf
    • • soft nofile 65535
    • • hard nofile 65535
    • • soft nproc 65535
    • • hard nproc 65535
  • 确保登录会话加载 limits（部分环境需检查 /etc/pam.d/login 或 /etc/pam.d/su 是否包含 session required pam_limits.so）。生效方式：重新登录或重启。
• 降低 swap 倾向、优化脏页刷新（减少抖动与写放大）
  • /etc/sysctl.d/99-kafka.conf
    • vm.swappiness = 1
    • vm.dirty_background_ratio = 5
    • vm.dirty_ratio = 70
  • 应用方式：sysctl -p /etc/sysctl.d/99-kafka.conf。

三 Kafka broker 网络关键配置 server.properties

• 监听与对外地址（务必正确填写内网/公网地址，避免客户端解析错误）
  • listeners=PLAINTEXT://内网IP:9092
  • advertised.listeners=PLAINTEXT://客户端可达IP:9092
• 网络与 I/O 线程
  • num.network.threads（网络读写线程，通常按 CPU 核数设置）
  • num.io.threads（磁盘 I/O 线程，通常按磁盘数设置）
• Socket 缓冲与请求上限
  • socket.send.buffer.bytes=102400
  • socket.receive.buffer.bytes=102400
  • socket.request.max.bytes=104857600（100MB，需与下游/上游一致）
• 副本与可靠性（影响网络吞吐与可用性）
  • replica.fetch.max.bytes：应≥ topic 的 max.message.bytes，避免副本同步失败（例如消息较大时，将其设为与 max.message.bytes 一致）
  • min.insync.replicas=2（至少 2 个副本确认写入）
  • replica.lag.time.max.ms=10000
• 生产者/消费者网络相关
  • fetch.min.bytes=1048576（1MB，提升吞吐的常用值）
  • fetch.max.wait.ms=500（权衡延迟与吞吐）
  • compression.type=snappy 或 lz4（降低网络字节量）
• 修改后重启 Broker 生效。

四 双网卡与多网络场景

• 明确指定 listeners 与 advertised.listeners 绑定到期望的网卡 IP（如内网同步与公网访问分离），避免默认路由或 DNS 回指导致跨网段转发与性能劣化。
• 核查主机名、接口、路由与连接状态，确保目标网段路由正确、链路 MTU 一致（避免分片）
  • 常用命令：ip addr、hostname、route -n、ss -tulpen、ping、traceroute、nslookup
• 如启用多网卡，确保 Broker 对外暴露地址仅指向业务/客户端所在网络的接口。

五 验证与回退

• 基线测试：在调整前后使用相同数据集与客户端配置进行吞吐（MB/s、records/s）、P95/P99 延迟、请求耗时分布对比。
• 运行时观测：
  • ss -s（查看套接字与队列）
  • sar -n DEV 1（网卡吞吐与丢包）
  • netstat -s | egrep “segments retransm|retrans”（重传率，过高需排查丢包/窗口/缓冲）
  • 监控 TCP 窗口与 RTT（如通过 tcp_info 或监控工具）
• 回退策略：保留原始 sysctl 与 server.properties 备份；一次只变更少量参数并观察至少一个峰值负载周期；异常即回滚到上一版本。