2.0可以在forward()手动释放中间变量吗

项目

数据集

课程

比赛

模型库

活动

论坛

访问飞桨官网

项目

数据集

课程

比赛

模型库

活动

论坛

访问飞桨官网

MR.三水九发布于2021-03

运行到一半会报错显存不足，降低batchsize又会降精度，能不能在forward时候手动释放一些中间变量节省显存开销啊？

或者还有别的节省显存的方法吗？nn.ReLU()好像不支持inplace

0

收藏

回复

全部评论(1)

AIStudio810261

#2 回复于2021-03

可以模拟大bs，多次前向forward计算后在进行一次backward反向
不是1次forward对应1次backward

0

回复

提issue

需求/bug反馈？一键提issue告诉我们

提pr

发现bug？如果您知道修复办法，欢迎提pr直接参与建设飞桨~