Ubuntu系统下PyTorch的内存管理技巧

以下是Ubuntu系统下PyTorch的内存管理技巧：

1. 清理缓存与释放内存
   • 使用torch.cuda.empty_cache()清空GPU缓存。
   • 用del删除不再使用的变量，配合gc.collect()手动触发垃圾回收。
2. 优化批次与精度
   • 降低批次大小（Batch Size），或使用梯度累积（Gradient Accumulation）在保持内存不变的情况下模拟更大批次。
   • 采用混合精度训练（AMP），用float16替代float32，或进一步使用BF16提升内存效率。
3. 优化模型结构
   • 用卷积层替代全连接层，或采用深度可分离卷积减少参数量。
   • 对大模型使用梯度检查点（Gradient Checkpointing），通过重新计算中间激活值节省内存。
4. 分布式与数据加载优化
   • 使用分布式训练（如DistributedDataParallel或FullyShardedDataParallel）分摊内存压力。
   • 配置DataLoader的num_workers和pin_memory提升数据加载效率，避免内存堆积。
5. 系统与硬件层面
   • 扩展物理内存或使用交换空间（Swap）临时缓解内存不足。
   • 选择支持更高显存的GPU硬件，或通过模型分片（如FSDP）利用多GPU内存。
6. 监控与调试
   • 使用torch.cuda.memory_summary()监控内存使用情况，定位内存泄漏。
   • 捕获CUDA out of memory异常，通过异常处理自动释放内存。

参考来源：[1,2,3,4,5,6,7,8,9,10,11]