总体能力概览
在Linux上，PyTorch的并行计算能力成熟且可扩展：多进程/多线程的CPU侧并行与GPU侧并行协同工作，单机多卡通过NCCL实现高效的梯度同步，多机多卡可扩展到大规模训练。实际性能取决于通信后端、网络/互联带宽、批量大小与模型规模等关键因素。
并行方式与适用场景
- 数据并行（DP）：单机多卡最易上手，使用nn.DataParallel在主卡聚合梯度；实现简单但通信与负载均衡受限，适合快速原型验证。
- 分布式数据并行（DDP）：每个GPU一个进程，推荐用nccl后端，梯度All-Reduce效率高，扩展性强，适合生产训练与多机场景。
- 模型/张量并行：将模型层或张量切分到不同设备，解决单卡显存不足，常与数据并行组合形成混合并行。
- 流水线并行（Pipe）：按层切分到多设备，提升吞吐，适合**<10B**参数模型与高通信开销场景。
- 完全分片数据并行（FSDP）：参数/梯度/优化器状态分片，显著降低显存占用，支持扩展到万亿参数规模。
- CPU侧并行：**DataLoader(num_workers)**多线程/多进程预取与增强，矩阵等运算利用多线程加速，减少GPU等待。
性能与扩展性要点
- 通信与网络：GPU间优先NCCL；单机多卡借助NVLink高带宽，跨机依赖100Gbps等高速以太网的All-Reduce效率。通信/样本时间（ACO）较高时，可采用Pipe+DDP降低环规模并并发All-Reduce；ACO较低且模型**<3B时，DDP吞吐通常最佳；其余多数场景FSDP**在显存与吞吐间更均衡。
- 批量与并行策略：增大全局批量、合理设置num_workers与预取通常提升利用率；当通信成为瓶颈时，混合并行（如DDP+Pipe或FSDP）往往优于单一策略。
快速上手建议
- 单卡/多卡选择：优先使用DDP而非DataParallel；单机多卡用NCCL启动多进程，每个进程绑定一个local_rank的GPU。
- 指定GPU：在代码最开始设置CUDA_VISIBLE_DEVICES，或在命令行前缀如：CUDA_VISIBLE_DEVICES=0,2,3 python train.py，避免可见设备与预期不符。
- 数据加载：设置合适的**DataLoader(num_workers)**与预取，确保CPU数据增强与GPU计算重叠，减少空闲时间。
- 混合精度：使用torch.cuda.amp降低显存并加速训练，通常对吞吐有正向收益。
- 监控与调优：用nvidia-smi观察GPU利用率、显存与功耗；根据瓶颈调整批量、并行策略与通信后端。