PyTorch训练LSTM时loss.backward()报错的解决方案
训练用PyTorch编写的LSTM或RNN时,在loss.backward()上报错:
RuntimeError: Trying to backward through the graph a second time, but the buffers have already been freed. Specify retain_graph=True when calling backward the first time.
千万别改成loss.backward(retain_graph=True),会导致显卡内存随着训练一直增加直到OOM:
RuntimeError: CUDA out of memory. Tried to allocate 20.00 MiB (GPU 0; 10.73 GiB total capacity; 9.79 GiB already allocated; 13.62 MiB free; 162.76 MiB cached)
正确做法:
LSRM / RNN模块初始化时定义好hidden,每次forward都要加上self.hidden = self.init_hidden():
Class LSTMClassifier(nn.Module):
def __init__(self, embedding_dim, hidden_dim):
# 此次省略其它代码
self.rnn_cell = nn.LSTM(embedding_dim, hidden_dim)
self.hidden = self.init_hidden()
# 此次省略其它代码
def init_hidden(self):
# 开始时刻, 没有隐状态
# 关于维度设置的详情,请参考 Pytorch 文档
# 各个维度的含义是 (Seguence, minibatch_size, hidden_dim)
return (torch.zeros(1, 1, self.hidden_dim),
torch.zeros(1, 1, self.hidden_dim))
def forward(self, x):
# 此次省略其它代码
self.hidden = self.init_hidden() # 就是加上这句!!!!
out, self.hidden = self.rnn_cell(x, self.hidden)
# 此次省略其它代码
return out
或者其它模块每次调用这个模块时,其它模块的forward()都对这个LSTM模块init_hidden()一下。
如定义一个模型LSTM_Model():
Class LSTM_Model(nn.Module):
def __init__(self, embedding_dim, hidden_dim):
# 此次省略其它代码
self.rnn = LSTMClassifier(embedding_dim, hidden_dim)
# 此次省略其它代码
def forward(self, x):
# 此次省略其它代码
self.rnn.hidden = self.rnn.init_hidden() # 就是加上这句!!!!
out = self.rnn(x)
# 此次省略其它代码
return out
这是因为:
根据 官方tutorial,在 loss 反向传播的时候,pytorch 试图把 hidden state 也反向传播,但是在新的一轮 batch 的时候 hidden state 已经被内存释放了,所以需要每个 batch 重新 init (clean out hidden state), 或者 detach,从而切断反向传播。
补充:pytorch:在执行loss.backward()时out of memory报错
在自己编写SurfNet网络的过程中,出现了这个问题,查阅资料后,将得到的解决方法汇总如下
可试用的方法:
1、reduce batch size, all the way down to 1
2、remove everything to CPU leaving only the network on the GPU
3、remove validation code, and only executing the training code
4、reduce the size of the network (I reduced it significantly: details below)
5、I tried scaling the magnitude of the loss that is backpropagating as well to a much smaller value
在训练时,在每一个step后面加上:
torch.cuda.empty_cache()
在每一个验证时的step之后加上代码:
with torch.no_grad()
不要在循环训练中累积历史记录
total_loss = 0
for i in range(10000):
optimizer.zero_grad()
output = model(input)
loss = criterion(output)
loss.backward()
optimizer.step()
total_loss += loss
total_loss在循环中进行了累计,因为loss是一个具有autograd历史的可微变量。你可以通过编写total_loss += float(loss)来解决这个问题。
本人遇到这个问题的原因是,自己构建的模型输入到全连接层中的特征图拉伸为1维向量时太大导致的,加入pool层或者其他方法将最后的卷积层输出的特征图尺寸减小即可。
(资源库 www.zyku.net)
原文链接:https://blog.csdn.net/qq_31375855/article/details/107568057
上一篇:Python图片检索之以图搜图
栏 目:Python教程
本文标题:PyTorch训练LSTM时loss.backward()报错的解决方案
本文地址:https://www.zyku.net/python/11123.html
您可能感兴趣的文章
- 03-23vivox60启用来电时闪光灯闪烁方法
- 02-20真我q3开启分屏教程
- 03-31mysql导入导出sql文件的方法
- 12-31幸福生活旅行-幸福生活旅行应用软件功
- 03-19一加9pro开启红包提醒操作方法
- 02-09华为nova8pro智慧助手语音唤醒设置步
- 01-10台州御聘-台州御聘应用软件功能介绍
- 02-10在Pycharm的Project Files下建立多个
- 02-22DedeCMS出现DedeTag Engine Create Fi
- 01-15一加10pro蓝牙功能
- 01-13时尚编辑器-时尚编辑器应用软件功能介
- 04-01jQuery validate验证隐藏表单(hidden)
- 12-25苹果xr如何开启来电闪光灯
- 03-01小米11青春版系统更新方法
- 07-05鸿蒙系统显示流量方法分享
- 11-01荣耀无线耳机配对手机方法汇总
- 09-19iqoo8pro怎么开启微云台校准
- 08-10dedecms整合百度编辑器Ueditor的方法
- 04-13小米手环6睡眠数据查看方法
- 09-13bose蓝牙耳机如何重新连接手机
最近更新
阅读排行
猜你喜欢
- 01-25Python中for后接else的语法使用
- 03-31Ubuntu安装Docker教程
- 02-05小米11开发者选项开启方法
- 02-09华为nova8pro手机像素信息查看方法
- 03-07miui13系统开启nfc功能教程
- 12-30图片换色大师-图片换色大师应用软件功
- 04-07vivos9手机关闭快应用的方法
- 01-12证件照乐拍-证件照乐拍应用软件功能介
- 08-15oppo手机如何设置虚拟按键
- 12-08小米11pro在哪查看智能密码管理