Linux环境下 PyTorch 训练与推理的实用优化清单
一 硬件与驱动层优化
- 确保安装匹配的 NVIDIA 驱动、CUDA、cuDNN，多卡训练时同步检查 NCCL 版本；使用 nvidia-smi 验证驱动、显存与 GPU 健康状态。
- 存储优先 NVMe SSD，并选用合适的文件系统（如 XFS/ext4）与挂载选项以减少小文件 I/O 抖动。
- 多 NUMA 服务器按插槽绑定 CPU/内存/PCIe，尽量让 GPU 与近端内存通道同侧，降低跨 NUMA 访问开销。
- 若需强实时性（如低时延推理/采集同步），可考虑 PREEMPT_RT 内核，但需评估对吞吐的影响。
二 环境与并行策略
- 使用 conda/virtualenv 隔离环境，避免依赖冲突；安装与 CUDA 版本匹配的 PyTorch/cuDNN。
- 多卡训练优先 DistributedDataParallel（DDP），单机多卡可通过环境变量 CUDA_VISIBLE_DEVICES 选择设备；验证阶段使用 torch.no_grad() 降低显存与计算。
- 合理设置 DataLoader 的 num_workers（通常设为 CPU 物理核心数或略低）与 pin_memory=True，重叠数据预处理与传输；图像解码可用 turbojpeg/jpeg4py 提升吞吐。
三 训练与推理加速关键技巧
- 启用 AMP 自动混合精度：用 torch.cuda.amp.autocast 与 GradScaler 在保持精度的同时降低显存并加速计算。
- 打开 cuDNN 自动调优：设置 torch.backends.cudnn.benchmark=True 以加速卷积等算子；若需可复现性，启用 torch.backends.cudnn.deterministic=True（可能牺牲部分性能）。
- 使用 PyTorch 2.x 的 torch.compile 进行图级优化（如 inductor 后端），在合适模型上可获得显著加速。
- 控制 CPU 线程数：通过 torch.set_num_threads(N) 匹配数据预处理与 CPU 计算负载，避免线程争用。
- 推理阶段尽量使用 eval() 模式并关闭梯度；对内存敏感场景可结合 AMP 或低精度（如 bf16，视硬件支持）。
四 内存与系统级调优
- 监控 GPU/CPU 内存 使用，排查泄漏与不必要的缓存占用；按需调整 batch size 与缓存策略。
- 多 NUMA 节点建议按进程/线程绑定到本地内存与 PCIe 通道，减少远端访问；必要时结合 DMA-BUF/异构内存 优化设备间缓冲共享。
- 适度调整 Linux 内核参数（如文件描述符上限、虚拟内存/网络参数）以支撑高并发数据加载与网络通信。
- 若默认二进制不满足需求，可针对目标硬件与库链 从源码编译 PyTorch，获取更优的指令集与库适配。
五 性能分析与监控闭环
- 使用 nvidia-smi dmon 实时监控 GPU 利用率、显存、功耗；用 htop/iostat/vmstat/sar 观察 CPU、I/O 与系统瓶颈。
- 借助 torch.profiler 定位算子与数据加载瓶颈，并结合 TensorBoard 可视化分析，指导 batch size、线程数、AMP/编译策略的取舍。
- 在变更配置（如线程数、num_workers、AMP、compile）时，保持其他条件一致，量化每次调优的收益与回归。