cpustat与系统监控工具的集成方案
一、集成总览与前提
- 明确目标：将 cpustat 的输出接入 Prometheus/Grafana、Zabbix/Nagios、日志/时序库或脚本化监控，用于长期存储、可视化与告警。
- 前提准备：在 CentOS/RHEL 安装 sysstat（含 cpustat）可用 yum install sysstat；在 Debian/Ubuntu 使用 apt update && apt install sysstat。cpustat 默认输出到终端，可重定向到日志或供外部采集器解析。
二、与 Prometheus 和 Grafana 集成
- 采集路径选择
- 直接集成：编写轻量 Exporter（以 HTTP 暴露 /metrics），内部定时执行 cpustat（如 cpustat -u 1 5），解析关键字段并转为 Prometheus 指标（如 cpustat_cpu_user_seconds_total、cpustat_cpu_iowait_seconds_total、cpustat_interrupts_total 等），注意打上 instance 与 cpu 标签。
- 间接集成：继续使用 node_exporter 采集通用主机指标，cpustat 作为补充数据源（日志或 Exporter），在 Grafana 同一面板中叠加展示，便于对比系统视图与 cpustat 细项。
- Prometheus 配置抓取
- 在 prometheus.yml 增加 job（示例）：
- job_name: ‘cpustat’
scrape_interval: 15s
static_configs:
- targets: [‘:9101’] # Exporter 端口
- Grafana 可视化
- 添加数据源 Prometheus，在面板中使用 PromQL 对 cpustat 指标做聚合与阈值告警（如按 instance、cpu 维度求平均/最大值）。Grafana 支持多数据源与丰富面板，适合把 cpustat 与 node_exporter 指标统一呈现。
三、与 Zabbix 和 Nagios 集成
- Zabbix
- 方式 A（脚本采集）：编写 Zabbix Agent 用户参数或外部检查脚本，执行 cpustat（如 cpustat -u 1 3），解析所需字段（如用户态、系统态、I/O 等待占比），以 Zabbix 标准输出返回数值；在 Zabbix 前端创建 Item/Trigger 完成阈值告警与可视化。
- 方式 B（日志/文件）：将 cpustat 输出重定向到日志文件（如 /var/log/cpustat.log），使用 Zabbix Agent（log/eventlog） 或 Logstash/Filebeat → Zabbix 的方式采集并解析关键行，再生成监控项与触发器。
- Nagios
- 编写 Nagios 插件脚本：调用 cpustat，依据阈值返回 0/1/2/3 状态码，并在 NRPE 或 check_by_ssh 中调用；在 Nagios 配置中定义 command 与 service，实现告警与依赖关系管理。
四、与日志与脚本化监控集成
- 日志落盘与轮转
- 使用 cron 或 systemd timer 定期执行并落盘，例如：每小时执行一次并将结果追加到日志文件（如 /var/log/cpustat_hourly.log），配合 logrotate 做按日/按大小轮转，便于审计与回溯。
- 实时查看与对比
- 使用 watch -n 1 “cpustat” 做秒级刷新，与 top/htop、vmstat、iostat 并行观察，快速定位 CPU 与 I/O、内存、调度等层面的瓶颈关联。
- 历史与对比分析
- 借助 sysstat 的历史机制，查看 /var/log/sysstat/ 下的历史数据文件，并用 sar 命令回放分析（如 sar -u -f /var/log/sysstat/saXX），与 cpustat 的即时输出交叉验证。
五、实践建议与注意事项
- 指标口径统一：明确 cpustat 输出字段与单位（如用户态%、系统态%、I/O 等待%、中断次数等），在 Exporter/脚本中保持与 Prometheus 的 counter/gauge 类型一致，避免混用“增量”和“占比”。
- 标签与维度：为指标添加 instance、cpu、mode 等标签，便于在 PromQL/Grafana 中灵活聚合与下钻；多核/多 NUMA 场景建议按 cpu 维度展示。
- 性能与安全：控制采集频率（如 5–15 秒），避免高频执行影响业务；以 最小权限运行采集进程，脚本与日志文件设置合适的 ownership/权限 与 umask。
- 告警策略：优先对“可行动”的指标设阈值（如 I/O 等待、系统态、中断风暴），并结合 趋势 与 持续时间 判定，减少抖动告警。