基于CUDA out of memory的解决方法是什么

发布时间:2023-02-22 11:26:32 作者:iii
来源:亿速云 阅读:115

今天小编给大家分享一下基于CUDA out of memory的解决方法是什么的相关知识点,内容详细,逻辑清晰,相信大部分人都还太了解这方面的知识,所以分享这篇文章给大家参考一下,希望大家阅读完这篇文章后有所收获,下面我们一起来了解一下吧。

CUDA out of memory的解决

我的输入样本维度是(1000,12,24,72),一开始我是这么输入数据的:

trainer.train(x_train, t_train, x_val, t_val)

发现必溢出,后来我取出其中400个样本输入:

trainer.train(x_train[:400], t_train[:400], x_val, t_val)

发现不溢出了,训练正常,然后我把400删掉,但没删冒号:

trainer.train(x_train[:], t_train[:], x_val, t_val)

竟然也没有溢出!!!虽然训练速度降了,但是也能正常训练,我不是很懂原理是啥,好神奇!

但是样本量一大起来,即使用冒号法还是可能会溢出。比方说我后来把4000个样本作为x/t_train:

>>>x_train.shape
(4000,12,24,72)
>>>t_train.shape
(4000,24)
>>>trainer.train(x_train[:], t_train[:], x_val, t_val)
RuntimeError:CUDA out of memory...

之所以说“可能”会溢出,是因为确实是有小概率能正常训练的,但是大部分情况还是会out of memory…

再附上两个我昨天看到的两种不同的解决方案。

一个是减少带梯度的中间变量(即非叶子节点)。简言之,能一行代码搞定的,尽量不要写成多行,即使写成多行,也要尽可能减少新变量的建立。

另一个是在eval的时候,让所有的变量都不带梯度。只需要添加一行代码:

with torch.no_grad():
    outputs = Net_(inputs)

在with语句里的所有变量requires_grad都是False。

CUDA error: out of memory问题

本人遇到的问题是在训练是正常,一到验证时就会出现cuda error: out of memory的问题

解决思路溯寻

1.首先就是考虑减少batch_size和num_worker,对于我的情况不奏效

2.然后找到pin_memory发现是设置的True,改为false,仍旧不管用

3.包括把

 # Empty GPU cache
        if torch.cuda.is_available():
            torch.cuda.empty_cache()

放到报错位置的前后,不奏效

4.后来再聚焦问题关键,是一到验证就会出问题,所以专门查攻略,我初步怀疑是因为验证没有参与反向传播,梯度累积,内存爆了,但当时代码中有with torch.no_grad(): ,所以并没有发现关键,知道看到别人里面 forword是放在with torch.no_grad()后面的,所以最后

with torch.no_grad():
                # Forward pass
                loss, np_probs, hv_logits = self.forward(images, targets)

以上就是“基于CUDA out of memory的解决方法是什么”这篇文章的所有内容,感谢各位的阅读!相信大家阅读完这篇文章都有很大的收获,小编每天都会为大家更新不同的知识,如果还想学习更多的知识,请关注亿速云行业资讯频道。

推荐阅读:
  1. 如何解决CUDA out of memory的问题
  2. pytorch中.to(device) 和.cuda()的区别有哪些

免责声明:本站发布的内容(图片、视频和文字)以原创、转载和分享为主,文章观点不代表本网站立场,如果涉及侵权请联系站长邮箱:is@yisu.com进行举报,并提供相关证据,一经查实,将立刻删除涉嫌侵权内容。

cuda

上一篇:Jquery怎么使用原生AJAX方法请求数据

下一篇:Java怎么利用MD5实现对密码进行加密处理

相关阅读

您好,登录后才能下订单哦!

密码登录
登录注册
其他方式登录
点击 登录注册 即表示同意《亿速云用户服务条款》