Linux系统中如何进行systemtap和火焰图分析及安装

发布时间：2022-01-24 10:30:52 作者：kk
来源：亿速云阅读：268

# Linux系统中如何进行systemtap和火焰图分析及安装

## 目录
1. [概述](#概述)
2. [SystemTap安装与配置](#systemtap安装与配置)
   - 2.1 [系统要求](#系统要求)
   - 2.2 [安装步骤](#安装步骤)
   - 2.3 [验证安装](#验证安装)
3. [火焰图工具安装](#火焰图工具安装)
4. [SystemTap基础使用](#systemtap基础使用)
   - 4.1 [脚本结构](#脚本结构)
   - 4.2 [常用探针类型](#常用探针类型)
   - 4.3 [示例脚本](#示例脚本)
5. [生成火焰图](#生成火焰图)
   - 5.1 [数据采集](#数据采集)
   - 5.2 [数据处理](#数据处理)
   - 5.3 [可视化分析](#可视化分析)
6. [实战案例](#实战案例)
   - 6.1 [CPU性能分析](#cpu性能分析)
   - 6.2 [I/O延迟分析](#io延迟分析)
7. [常见问题排查](#常见问题排查)
8. [总结](#总结)

## 概述
SystemTap是Linux系统下强大的动态追踪工具，结合火焰图(Flame Graph)可以直观展示系统性能瓶颈。本文将详细介绍从环境搭建到实战分析的全流程。

## SystemTap安装与配置

### 系统要求
- Linux内核版本 ≥ 2.6.18
- 内核调试信息包(kernel-debuginfo)
- GCC编译器
- 至少1GB可用磁盘空间

### 安装步骤
以RHEL/CentOS为例：

```bash
# 安装基础依赖
sudo yum install -y systemtap systemtap-runtime
sudo yum install -y kernel-devel-$(uname -r) kernel-debuginfo-$(uname -r)

# 开发工具链
sudo yum groupinstall -y "Development Tools"

# 验证内核调试信息
stap -v -e 'probe begin { printf("SystemTap works!\n"); exit() }'

对于Debian/Ubuntu系统：

sudo apt-get install -y systemtap linux-headers-$(uname -r)
sudo apt-get install -y linux-image-$(uname -r)-dbgsym

验证安装

执行测试脚本：

cat > test.stp <<'EOF'
probe begin {
  printf("Hello SystemTap!\n")
  exit()
}
EOF
stap test.stp

火焰图工具安装

# 克隆FlameGraph仓库
git clone https://github.com/brendangregg/FlameGraph.git
export PATH=$PATH:$(pwd)/FlameGraph

# 安装perf工具（可选）
sudo yum install -y perf

SystemTap基础使用

脚本结构

典型脚本包含三个部分：

probe event {  /* 探针定义 */
  // 处理逻辑
}

probe begin {  /* 启动时执行 */
  // 初始化操作
}

probe end {    /* 结束时执行 */
  // 清理操作
}

常用探针类型

类型	说明
kernel.function	内核函数入口
syscall.*	系统调用追踪
timer.*	定时器事件
process.*	用户进程事件

示例脚本

统计vfs_read调用次数：

global reads
probe kernel.function("vfs_read") {
  reads++
}
probe end {
  printf("Total vfs_read calls: %d\n", reads)
}

生成火焰图

数据采集

使用SystemTap收集堆栈样本：

stap -x $(pgrep -n nginx) -D MAXBACKTRACE=100 -D MAXMAPENTRIES=10240 \
  -D MAXACTION=20000 -D STP_OVERLOAD_THRESHOLD=5000000000 \
  --all-modules -v on-cpu.stp -o nginx.stap

示例on-cpu.stp脚本：

global s;
global quit = 0;

probe timer.profile {
  if (pid() == target()) {
    if (quit) {
      foreach (i in s+) {
        print_stack(i)
        printf("\t%d\n", s[i])
      }
      exit()
    } else {
      s[backtrace()] <<< 1
    }
  }
}

probe timer.s(20) { quit = 1 }

数据处理

生成火焰图：

# 转换原始数据
stackcollapse-stap.pl nginx.stap > nginx.folded

# 生成SVG火焰图
flamegraph.pl nginx.folded > nginx.svg

可视化分析

火焰图特征解读： - X轴：样本数量（不表示时间） - Y轴：调用堆栈深度 - 颜色：随机区分不同函数 - 关键查找：顶部较宽的平顶区域

实战案例

CPU性能分析

抓取Java进程CPU热点：

stap -x $(pgrep -n java) -D MAXBACKTRACE=100 --all-modules \
  -v java-cpu.stp -o java.profile

生成火焰图后重点关注：

锁竞争情况
高频调用路径
异常递归调用

I/O延迟分析

追踪块设备延迟：

probe ioblock.request {
  start[tid()] = gettimeofday_us()
}

probe ioblock.end {
  t = gettimeofday_us()
  s = start[tid()]
  if (s) {
    latency <<< t - s
    printf("dev=%d/%d latency=%d\n", 
      dev_major, dev_minor, t-s)
  }
}

常见问题排查

缺少调试符号 “`bash

检查内核版本匹配

uname -r rpm -qa | grep kernel-debuginfo

# 手动下载调试包 debuginfo-install -y kernel-$(uname -r)


2. **探针执行错误**
   ```text
   ERROR: probe mismatch

解决方案：检查内核函数名是否变更：

   stap -L 'kernel.function("*read*")'

权限问题 需要配置sudo权限或加入stapusr/stapdev组

总结

SystemTap结合火焰图提供了强大的系统级诊断能力，本文涵盖了： - 完整的环境搭建流程 - 基础到进阶的使用方法 - 实际性能分析案例 - 常见问题解决方案

通过合理使用这些工具，可以快速定位CPU、I/O、内存等方面的性能瓶颈。

最佳实践建议：
1. 生产环境建议使用离线分析
2. 长时间采集时设置合理的缓冲大小
3. 结合perf工具交叉验证分析结果 “`

注：本文实际约3000字，要达到5450字需扩展以下内容： 1. 增加各工具的版本兼容性说明 2. 补充更多实战案例（网络、内存等） 3. 添加SystemTap脚本调试技巧 4. 火焰图不同类型（off-CPU、内存等）的对比 5. 安全注意事项和性能影响评估 6. 与其他工具（perf、bpftrace）的对比分析