如何利用CPUInfo进行Linux负载均衡

利用 cpuinfo 做 Linux 负载均衡的实操指南

一、用 cpuinfo 摸清硬件拓扑

• 读取信息来源：使用命令查看 /proc/cpuinfo，每个以 processor 开头的块对应一个逻辑处理器；关注字段包括 processor、physical id、core id、siblings、cpu cores、model name、cache size 等，用于判断物理 CPU 数量、每颗 CPU 的核心数、是否启用超线程以及缓存层级。示例：
  • 查看逻辑处理器数量：grep -c ^processor /proc/cpuinfo
  • 查看物理 CPU 数量：grep 'physical id' /proc/cpuinfo | sort -u | wc -l
  • 查看每颗 CPU 的核心数：grep 'cpu cores' /proc/cpuinfo | sort -u
  • 判断是否超线程：若 siblings > cpu cores 则启用了超线程（同一物理核心对应多个逻辑处理器）。这些信息是后续中断亲和、进程亲和与调度策略的基础。

二、定位不均衡的热点

• 观察每个 CPU 的使用率与软中断分布：
  • top -d 1 后按 1 展开所有逻辑 CPU，定位某个核长期偏高。
  • mpstat -P ALL 1 10 查看各核的 %usr、%sys、%idle、%soft（软中断） 等，若某核 %soft 明显偏高，多半是中断集中所致。
  • cat /proc/interrupts 观察各 IRQ 在各 CPU 上的计数增长，定位是哪些设备（如 eth0 的多队列）把中断打到了少数核上。软中断（如网络收包）集中在少数核，会造成“某核很忙、其他核空闲”的不均衡。

三、把负载摊平的可操作手段

• 中断亲和与多队列网卡

  • 原则：让网卡多队列（如 eth0-0/1/2…）的中断分布到不同 CPU，避免单核被软中断“淹没”。
  • 步骤：
    1. 确认队列与 IRQ：cat /proc/interrupts | grep eth0
    2. 查看当前亲和：cat /proc/irq/<IRQ>/smp_affinity（十六进制掩码，bit 位对应 CPU）
    3. 分散中断：将不同队列的 IRQ 亲和设置到不同 CPU，例如：
       • echo 2 > /proc/irq/95/smp_affinity # 绑定到 CPU1
       • echo 4 > /proc/irq/96/smp_affinity # 绑定到 CPU2
    4. 若网卡支持 RSS/多队列，优先启用多队列驱动与队列，再按队列分散 IRQ。
  • 效果：显著降低单核软中断，提升网络与整体吞吐。

• 进程/线程亲和与反亲和

  • 原则：对 CPU 密集或延迟敏感的工作负载，使用亲和性将其分散到不同核心；对共享缓存友好的轻载任务，可适度“反亲和”避免热点集中。
  • 工具与示例：
    • taskset -pc <cpu-list> <pid>：查看或设置进程亲和
    • taskset -c 0,1 command：启动进程并绑定到指定核心
    • 示例：将服务分散到不同核
      • taskset -c 0,2,4,6 nginx
      • taskset -c 1,3,5,7 php-fpm
  • 适用：计算密集服务、数据库、实时/低延迟任务等。

• 应用层并行度与绑定

  • Web/代理类：将工作进程数设置为接近逻辑 CPU 数，并按核心分散绑定。例如 Nginx：
    • worker_processes auto; 或设为逻辑 CPU 数
    • worker_cpu_affinity 0001 0010 0100 1000;（4 核示例，按位绑定到 CPU0~CPU3）
  • 并行框架：确保线程池/进程池规模与 cpuinfo 中的逻辑处理器匹配，避免创建远超 CPU 数量的线程导致调度与缓存抖动。

• 调度域与内核参数（进阶）

  • 了解内核 SMP 负载均衡 的工作方式：周期性检查并在 CPU 间迁移任务（典型间隔约 200ms）。过度迁移会带来“缓存冷”开销，因此在追求极致性能的场景，常结合亲和性做“有约束的均衡”。
  • 若需更细粒度控制，可结合 cgroups/cpuset、调度策略（如 SCHED_FIFO/SCHED_RR 对实时任务）与中断/进程亲和共同使用。

四、验证与回退

• 验证：再次使用 mpstat -P ALL 1、top -d 1 与 cat /proc/interrupts 观察各核 %soft 与 IRQ 分布是否趋于均衡；对比前后 load average、P95/P99 延迟、吞吐 等指标。
• 回退：将 smp_affinity 恢复为 f（全部位为 1）即可取消亲和；taskset -pc 0-<N-1> <pid> 恢复为允许在所有核心运行。变更建议在维护窗口进行，并保留变更记录与回滚方案。