Ubuntu系统中PyTorch内存管理技巧

以下是Ubuntu系统中PyTorch的内存管理技巧：

1. 清理缓存与释放内存
   • 使用torch.cuda.empty_cache()释放未使用的GPU缓存。
   • 手动删除不再使用的变量（del），并配合gc.collect()触发垃圾回收。
2. 降低计算资源占用
   • 减小批量大小（Batch Size）：直接减少显存占用，可能影响训练速度。
   • 混合精度训练：用torch.cuda.amp自动在FP16和FP32间切换，节省显存并加速计算。
3. 优化模型与训练过程
   • 梯度累积：通过多次小批量累积梯度模拟大批量训练，不增加显存。
   • 使用高效模型结构：如深度可分离卷积、轻量级模型（如MobileNet）。
   • 启用梯度检查点：通过torch.utils.checkpoint减少中间激活值存储。
4. 数据加载优化
   • 合理设置DataLoader的num_workers和pin_memory，避免CPU-GPU数据传输瓶颈。
   • 在CPU上完成数据预处理，减少GPU内存占用。
5. 系统级与工具辅助
   • 监控显存使用：通过torch.cuda.memory_summary()分析内存占用。
   • 分布式训练：利用多GPU分摊显存压力（需配合torch.distributed）。
   • 升级硬件：若显存不足，可考虑更高显存的GPU。

注意：部分操作（如inplace）可能破坏计算图，需根据场景谨慎使用。