CentOS环境下PyTorch性能优化策略
num_workers参数提升数据加载并行性。pip安装PyTorch时，指定与CUDA版本匹配的whl文件（如--extra-index-url https://download.pytorch.org/whl/cu117）。LD_LIBRARY_PATH包含CUDA库路径（如/usr/local/cuda/lib64），避免动态链接库查找失败；通过CUDA_VISIBLE_DEVICES指定可见GPU，避免资源冲突。DataLoader中设置num_workers=4*num_gpu（如4块GPU则设为16），利用多进程并行加载数据，克服GIL限制；启用pin_memory=True，将CPU内存固定为锁页内存，加速数据从CPU到GPU的传输。TurboJPEG替代Pillow进行图像解码，提升图像处理速度；对数据进行预取（prefetch_factor参数），提前加载下一批数据，减少等待时间。torch.randn(3, 224, 224, device='cuda')），避免CPU→GPU的冗余数据传输；使用non_blocking=True进行异步传输，重叠数据传输与计算。torch.cuda.amp（自动混合精度）进行训练，将数据精度从FP32降低到FP16，减少显存占用并加速计算，同时保持模型精度；需注意检查数值稳定性。batch_size设置为8的倍数（如32、64），最大化GPU内存利用率；根据GPU显存大小动态调整，避免显存溢出。optimizer.zero_grad()和loss.backward()累积多个小批次的梯度，再进行一次参数更新，模拟大batch_size的效果。torch.nn.parallel.DistributedDataParallel（DDP）替代DataParallel，降低GPU间通信开销；或采用模型并行（如torch.nn.DataParallel结合层拆分），分摊计算压力。torch.nn.utils.clip_grad_norm_限制梯度范数（如max_norm=1.0），防止梯度爆炸，提升训练稳定性。DistributedDataParallel（DDP）进行多GPU/多节点训练，DDP通过Ring-AllReduce算法减少通信开销，比DataParallel更高效；需设置backend='nccl'（NVIDIA GPU推荐）。NCCL_SOCKET_IFNAME环境变量，指定网络接口。torch.utils.bottleneck工具，分析模型训练/推理的瓶颈（如数据加载、计算、内存）；或使用cProfile深入分析代码执行效率，找出耗时较长的函数。TensorBoard监控训练过程中的指标（如loss、accuracy、GPU利用率），及时调整超参数；或使用nvidia-smi监控GPU利用率、显存占用，确保资源充分利用。torch.backends.cudnn.benchmark = True，让CuDNN自动选择最优的卷积算法，提升卷积操作速度；需注意在输入尺寸变化时关闭（设为False）。channels_last（NHWC）内存格式，提高内存访问效率（尤其适合卷积层）；可通过tensor.to(memory_format=torch.channels_last)转换。