PyTorch在Debian上支持多GPU和分布式并行计算,主要通过以下方式实现:
torch.nn.DataParallel或torch.nn.parallel.DistributedDataParallel(DDP)将模型复制到多个GPU,自动分配数据并行计算。
DataParallel适合单机多卡,简单易用。DDP适合大规模分布式训练(支持多机多卡),需配合torch.distributed.launch或mp.spawn启动。apt-get install libnccl2 libnccl-dev。CUDA_VISIBLE_DEVICES控制可见GPU。python -m torch.distributed.launch --nproc_per_node=GPU数量 脚本.py。init_method指定主节点IP和端口。参考资料: