kafka在centos上的资源占用如何控制

Kafka 在 CentOS 上的资源占用控制

一 内存与 JVM 控制

• 设置堆大小：在 Kafka 启动环境中导出变量，统一设置初始与最大堆为同一值，避免运行期扩缩堆带来的抖动，例如：export KAFKA_HEAP_OPTS=“-Xms4G -Xmx4G”（根据机器内存与负载调整，通常不超过物理内存的50%，剩余留给 Page Cache）。
• 减少 Swap 影响：Kafka 强依赖 Page Cache，建议将 vm.swappiness 设为极低值（如 1），降低内核换页概率；仅在内存紧张且允许一定风险时再考虑关闭 Swap。
• 控制脏页刷写：适度降低 vm.dirty_background_ratio（如 5），提高 vm.dirty_ratio（如 60–80）以拉长批量刷写间隔、减少抖动，但要评估宕机时回放时间变长的风险。
• 监控手段：结合 jstat、jmap、jconsole 观察堆使用、GC 频率与停顿，必要时再微调堆与 GC 策略。

二 文件描述符与系统资源限制

• 提升进程可打开文件数：编辑 /etc/security/limits.conf 或 /etc/security/limits.d/90-kafka.conf，为 Kafka 运行用户设置如：
  • kafka soft nofile 65536
  • kafka hard nofile 65536
• 若通过 systemd 管理：执行 systemctl edit kafka，在 [Service] 下增加 LimitNOFILE=65536，随后执行 systemctl daemon-reload && systemctl restart kafka。
• 校验：使用 ulimit -n 与 lsof -p <kafka_pid> | wc -l 观察实际生效值与打开句柄数，避免因 Too many open files 导致连接失败或性能劣化。

三 CPU 与线程数控制

• 线程与磁盘/CPU 配比：将 num.io.threads 与 num.network.threads 设为磁盘数的倍数，但不超过 CPU 核数；num.replica.fetchers 建议不超过 5，避免副本同步线程过多引发 CPU 飙升。
• 分区与负载均衡：分区数一般设为节点数的倍数，单节点分区数不宜超过 2000；避免生产/消费热点集中到少数节点。
• 快速排查 CPU 高：
  • top 定位进程 → top -H -p 找高占用线程 → printf “%x\n” <线程号> 转 16 进制 → jstack 中检索对应 nid 定位热点代码路径。
• 常见诱因：客户端/组件版本不兼容导致频繁全量元数据请求、鉴权异常引发大量 Deny、sssd 异常等，需结合 kafka-request.log / kafka-authorizer.log 与 jstack 分析。

四 网络与磁盘 I/O 参数调优

• 套接字缓冲：适度增大 socket.send.buffer.bytes / socket.receive.buffer.bytes（如 102400 或按带宽与延迟测算调优），降低系统调用与网络小包开销。
• 消息与副本流量控制：当存在大消息时，确保 replica.fetch.max.bytes 不小于 topic 的 max.message.bytes，否则副本同步会失败（例如 topic 设为 50MiB，则 replica.fetch.max.bytes 也应≥50MiB）。
• 脏页与 I/O 平滑：配合前述 vm.dirty_background_ratio / vm.dirty_ratio 调整，使写回更平滑，减少 I/O 毛刺。

五 落地配置示例与变更流程

• 推荐的 server.properties 片段（示例值，需按环境校准）：
  • listeners=PLAINTEXT://:9092
  • advertised.listeners=PLAINTEXT://:9092
  • log.dirs=/data/kafka/kafka-logs
  • num.network.threads=3
  • num.io.threads=8
  • num.replica.fetchers=3
  • socket.send.buffer.bytes=102400
  • socket.receive.buffer.bytes=102400
  • replica.fetch.max.bytes=52428800（与 topic 的 max.message.bytes 一致）
• 系统层关键配置（/etc/sysctl.d/99-kafka.conf）：
  • vm.swappiness=1
  • vm.dirty_background_ratio=5
  • vm.dirty_ratio=70
  • net.core.rmem_default=4194304；net.core.wmem_default=4194304
  • net.ipv4.tcp_rmem=4096 65536 4194304；net.ipv4.tcp_wmem=4096 65536 4194304
  • net.core.netdev_max_backlog=100000；net.ipv4.tcp_max_syn_backlog=5120
• 变更流程：
  1. 先在测试环境验证；2) 逐项应用系统参数（sysctl -p）与 limits 配置；3) 设置 KAFKA_HEAP_OPTS 并重启；4) 观察 GC、请求时延、生产/消费速率、fd 使用率、脏页指标，必要时回调相关参数。