用 cpustat 定位瓶颈并优化 CentOS 虚拟机性能
一、基线测量与定位瓶颈
- 安装与运行
- 系统自带工具：sudo yum install -y sysstat；运行 cpustat 查看整体与每核 CPU 使用。
- Uber 版本（更细粒度）：sudo yum install -y golang；go get github.com/uber-common/cpustat；默认每 200ms 采样、每 5s 汇总，显示前 10 个进程。常用：sudo cpustat -u root -n 20（按 CPU 使用列出前 20 个进程）。
- 关键指标解读
- 高 %usr：用户态计算密集；高 %sys：系统调用/内核路径长；高 iowait：磁盘 I/O 成为瓶颈；高 prun：可运行进程多，可能 CPU 饱和；高 pblock：进程被 I/O 阻塞。
- 多维交叉验证
- mpstat -P ALL 1：确认是否单核打满；top/htop：定位具体进程；vmstat 1：看整体上下文切换与内存压力；必要时配合 iostat 观察磁盘。
- 建立可回溯的数据基线
- 持续采集：例如 */5 * * * * cpustat -c > cpu_usage_$(date +%F-%H%M).txt，便于回放与对比优化前后差异。
二、按 cpustat 指标对应的优化动作
- 高 %usr（用户态 CPU 高）
- 应用侧：升级到优化版本、开启编译优化（如 -O2/-O3）、减少锁竞争与频繁分配、批处理/异步化热点路径。
- 系统侧：用 cpustat -u root -n 20 找出 TOP 进程，必要时用 nice/renice 降低低优先级任务，保障关键业务 CPU；对计算密集任务设置 CPU 亲和性（taskset）减少抖动。
- 高 %sys（内核态 CPU 高）
- 减少系统调用与上下文切换：合并 I/O、增大缓冲、使用更高效的库/协议；检查频繁 fork/exec、短连接风暴等。
- 虚拟化相关：确保宿主机与客户机启用硬件加速（如 VT-x/AMD-V），并在客户机内核启用 EPT；Windows 客户机安装 virtio 驱动；网络优先使用 vhost-net 降低内核路径开销。
- 高 iowait（I/O 瓶颈）
- 存储栈：客户机磁盘使用 virtio-blk/virtio-scsi，开启 Native AIO；块设备 I/O 调度器在虚拟化场景优先 noop/deadline；宿主机与存储后端尽量使用 SSD/NVMe。
- 内存与缓存：适度调大脏页参数（如 vm.dirty_ratio、vm.dirty_background_ratio）以减少同步刷盘频率，但避免过大导致抖动；仅在评估时临时 echo 3 > /proc/sys/vm/drop_caches 验证读缓存影响，生产慎用。
- 高 prun / pblock（CPU 饱和或被 I/O 阻塞）
- 扩容 vCPU 或优化调度：为关键负载设置 CPU 亲和性，减少争用；对多实例服务进行水平扩展与限流。
- 内存与 KSM：若宿主机内存未超配，可关闭 KSM 减少合并扫描带来的 CPU 开销；若超配可适度开启以节省内存。
三、宿主机与虚拟化层的联动优化
- 内存子系统的取舍
- 透明大页（THP）：多数虚拟化/数据库负载建议关闭或设置为 madvise，减少延迟抖动；命令：echo never > /sys/kernel/mm/transparent_hugepage/enabled 与 defrag。
- 存储与网络栈
- 磁盘：客户机用 virtio 驱动、开启 Native AIO；I/O 调度器选 noop/deadline；宿主机使用高性能存储与队列。
- 网络：客户机用 virtio 网卡，宿主机启用 vhost-net 降低网络路径 CPU 占用。
- 资源隔离与调度
- 避免超卖导致的抖动；对关键虚拟机设置 CPU 份额/预留；NUMA 场景下绑定内存与 vCPU 同节点。
四、验证与回滚
- 指标对比：对比优化前后 cpustat 的 %usr/%sys/iowait/prun/pblock 分布，以及 mpstat 每核利用率是否均衡。
- 回归测试：在同等业务压力下复测延迟与吞吐；若异常，回滚对应变更（如恢复 I/O 调度器、关闭/开启 THP、恢复亲和性设置）。
- 持续观测：保留周期性采集数据，结合告警阈值（如 iowait 持续 > 10%、单核长期 > 90%）触发排查。