PyTorch在CentOS上的兼容性测试

PyTorch在CentOS上的兼容性测试方案

一 测试目标与环境基线

• 目标：在CentOS上系统化验证PyTorch与操作系统、Python、CUDA/cuDNN、驱动以及常见深度学习依赖的兼容性，覆盖CPU与NVIDIA GPU两种场景，输出可复用的测试矩阵与报告。
• 基线建议：
  • 操作系统：CentOS 7.6+（建议7.9或更新小版本），内核与glibc保持系统默认稳定版本。
  • Python：3.7–3.9（建议优先3.8/3.9），使用venv或conda隔离环境。
  • GPU与驱动：NVIDIA 显卡驱动版本需与目标CUDA匹配；CUDA 与 cuDNN 版本需与所选 PyTorch 版本匹配（例如：PyTorch 1.9.0 → CUDA 11.1，PyTorch 2.0.1 → CUDA 11.3）。
  • 基础工具链：确保已安装gcc、openssl-devel、bzip2-devel、libffi-devel等编译依赖，便于后续扩展与第三方库构建。

二 测试矩阵设计

• 维度与取值建议如下（示例组合，可按实际环境裁剪）：

• 组合策略：优先覆盖“OS × Python × PyTorch × 后端”的全量笛卡尔积；每个组合至少执行一次“安装—验证—基础算子—训练/推理”的闭环。GPU组合需额外验证驱动与CUDA可用性。

三 安装与验证步骤

• 通用准备
  • 系统更新与依赖：sudo yum update -y；sudo yum install -y gcc openssl-devel bzip2-devel libffi-devel
  • Python 与虚拟环境：sudo yum install -y python3 python3-pip；或使用 Miniconda 创建隔离环境（推荐）。
• CPU 安装与验证
  • conda：conda create -n torch-cpu python=3.8；conda activate torch-cpu；conda install pytorch torchvision torchaudio cpuonly -c pytorch
  • pip：pip install torch torchvision torchaudio
  • 验证：python - <<‘PY’ import torch, sys, platform, subprocess, json print(“torch:”, torch.version, “python:”, sys.version.split()[0], “platform:”, platform.platform()) print(“cuda:”, torch.version.cuda, “cudnn:”, getattr(torch.backends.cudnn, “version”, lambda: None)()) print(“cpu:”, torch.device(“cpu”)) print(“basic:”, torch.randn(2,2).sum().item()) PY
• GPU 安装与验证（示例为 CUDA 11.8；请按实际驱动与需求替换为 11.3/11.7/12.x）
  • conda：conda create -n torch-gpu python=3.8；conda activate torch-gpu
    • 方案A（自带 cudatoolkit）：conda install pytorch torchvision torchaudio cudatoolkit=11.8 -c pytorch -c conda-forge
    • 方案B（系统已装 CUDA）：conda install pytorch torchvision torchaudio -c pytorch
  • pip：pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118
  • 验证：python - <<‘PY’ import torch print(“torch:”, torch.version, “cuda:”, torch.version.cuda, “cudnn:”, getattr(torch.backends.cudnn, “version”, lambda: None)()) print(“cuda available:”, torch.cuda.is_available()) if torch.cuda.is_available(): print(“device count:”, torch.cuda.device_count()) print(“current device:”, torch.cuda.current_device(), torch.cuda.get_device_name()) x = torch.randn(2,2).cuda(); print(“gpu op:”, (x*x).sum().item()) PY
• 要点
  • GPU 场景需确保已安装与所选 CUDA 匹配的NVIDIA 驱动；conda 方案可通过cudatoolkit屏蔽系统 CUDA 差异，pip 方案需与系统 CUDA 一致。
  • 若遇到网络下载慢，可配置清华源等镜像加速（conda/pip 均可）。

四 测试用例与通过标准

• 基础可用性
  • 导入 torch、打印版本与设备信息；CPU/GPU 场景下分别验证基本张量运算与设备放置。
  • 通过标准：无报错；版本信息正常；GPU 场景 torch.cuda.is_available() 为 True。
• 数值与算子正确性
  • 运行常见算子（如matmul、conv2d、batchnorm、dropout）的前向与梯度检查；可使用 torch.autograd.gradcheck 做数值梯度校验（float32）。
  • 通过标准：结果与预期一致（相对误差在可接受范围内），无 NaN/Inf 异常。
• 训练与推理闭环
  • 选择一个小型模型（如ResNet18或Transformer简化版）在CPU/GPU上各跑若干 step，记录吞吐（images/s 或 tokens/s）与显存/内存占用。
  • 通过标准：训练/推理可稳定完成；资源占用在预期范围；不同后端结果一致（允许浮点舍入差异）。
• 稳定性与资源
  • 长时间（如≥2小时）运行混合精度训练或高吞吐推理，观察是否出现显存泄漏、进程崩溃、非法指令等。
  • 通过标准：无崩溃/重启；显存/内存曲线平稳；日志无异常堆栈。
• 依赖兼容性
  • 与常见库组合验证（如numpy < 2.0、opencv-python等）；若遇到冲突，优先调整依赖版本或隔离环境。
  • 通过标准：import 与基础功能正常；无版本冲突报错。

五 常见问题与排查要点

• 驱动与 CUDA 不匹配
  • 现象：torch.cuda.is_available() 为 False 或报错；nvidia-smi 与 torch.version.cuda 不一致。
  • 处理：升级/回退NVIDIA 驱动至与所选 CUDA 兼容版本；conda 优先使用cudatoolkit方案减少系统依赖；pip 需确保系统 CUDA 与安装包一致。
• 版本不匹配与依赖冲突
  • 现象：ImportError、DLL load failed、numpy 与 torch 版本冲突等。
  • 处理：按矩阵固定版本；必要时将 numpy 降级至 <2.0；使用独立虚拟环境隔离；必要时更换安装通道或镜像。
• 构建/编译问题
  • 现象：安装带扩展的库（如部分视觉/音频后端）时报错。
  • 处理：提前安装gcc、openssl-devel、bzip2-devel、libffi-devel等编译依赖；确保 glibc 与系统库版本满足构建需求。
• 网络与下载问题
  • 现象：安装包下载缓慢或失败。
  • 处理：配置清华源等镜像加速；重试或更换网络环境。