您好,登录后才能下订单哦!
这篇文章主要为大家展示了“Pytorch中如何使用多块GPU”,内容简而易懂,条理清晰,希望能够帮助大家解决疑惑,下面让小编带领大家一起研究并学习一下“Pytorch中如何使用多块GPU”这篇文章吧。
注:本文针对单个服务器上多块GPU的使用,不是多服务器多GPU的使用。
在一些实验中,由于Batch_size的限制或者希望提高训练速度等原因,我们需要使用多块GPU。本文针对Pytorch中多块GPU的使用进行说明。
1. 设置需要使用的GPU编号
import os os.environ["CUDA_VISIBLE_DEVICES"] = "0,4" ids = [0,1]
比如我们需要使用第0和第4块GPU,只用上述三行代码即可。
其中第二行指程序只能看到第1块和第4块GPU;
第三行的0即为第二行中编号为0的GPU;1即为编号为4的GPU。
2.更改网络,可以理解为将网络放入GPU
class CNN(nn.Module): def __init__(self): super(CNN,self).__init__() self.conv1 = nn.Sequential( ...... ) ...... self.out = nn.Linear(Liner_input,2) ...... def forward(self,x): x = self.conv1(x) ...... output = self.out(x) return output,x cnn = CNN() # 更改,.cuda()表示将本存储到CPU的网络及其参数存储到GPU! cnn.cuda()
3. 更改输出数据(如向量/矩阵/张量):
for epoch in range(EPOCH): epoch_loss = 0. for i, data in enumerate(train_loader2): image = data['image'] # data是字典,我们需要改的是其中的image #############更改!!!################## image = Variable(image).float().cuda() ############################################ label = inputs['label'] #############更改!!!################## label = Variable(label).type(torch.LongTensor).cuda() ############################################ label = label.resize(BATCH_SIZE) output = cnn(image)[0] loss = loss_func(output, label) # cross entropy loss optimizer.zero_grad() # clear gradients for this training step loss.backward() # backpropagation, compute gradients optimizer.step() ... ...
4. 更改其他CPU与GPU冲突的地方
有些函数必要在GPU上完成,例如将Tensor转换为Numpy,就要使用data.cpu().numpy(),其中data是GPU上的Tensor。
若直接使用data.numpy()则会报错。除此之外,plot等也需要在CPU中完成。如果不是很清楚哪里要改的话可以先不改,等到程序报错了,再哪里错了改哪里,效率会更高。例如:
... ... ################################################# pred_y = torch.max(test_train_output, 1)[1].data.cpu().numpy() accuracy = float((pred_y == label.cpu().numpy()).astype(int).sum()) / float(len(label.cpu().numpy()))
假如不加.cpu()便会报错,此时再改即可。
5. 更改前向传播函数,从而使用多块GPU
以VGG为例:
class VGG(nn.Module): def __init__(self, features, num_classes=2, init_weights=True): super(VGG, self).__init__() ... ... def forward(self, x): #x = self.features(x) #################Multi GPUS############################# x = nn.parallel.data_parallel(self.features,x,ids) x = x.view(x.size(0), -1) # x = self.classifier(x) x = nn.parallel.data_parallel(self.classifier,x,ids) return x ... ...
然后就可以看运行结果啦,nvidia-smi查看GPU使用情况:
可以看到0和4都被使用啦
以上是“Pytorch中如何使用多块GPU”这篇文章的所有内容,感谢各位的阅读!相信大家都有了一定的了解,希望分享的内容对大家有所帮助,如果还想学习更多知识,欢迎关注亿速云行业资讯频道!
免责声明:本站发布的内容(图片、视频和文字)以原创、转载和分享为主,文章观点不代表本网站立场,如果涉及侵权请联系站长邮箱:is@yisu.com进行举报,并提供相关证据,一经查实,将立刻删除涉嫌侵权内容。