首页 Paddle框架 帖子详情
如何解决显存不足(不减小batchsize)
收藏
快速回复
Paddle框架 问答深度学习模型训练炼丹技巧 3512 3
如何解决显存不足(不减小batchsize)
收藏
快速回复
Paddle框架 问答深度学习模型训练炼丹技巧 3512 3

训练时遇到显存不足又不能减少batchsize的问题,有没有提供将batchsize切分成多个小的minibatch分别训练的功能,前面几次只是保存累加梯度不更新参数,只在最后一次反向计算后更新参数,这样牺牲训练时间来解决物理显存不足的问题。其它框架(pytorch,matconvnet)都提供类似功能。

0
收藏
回复
全部评论(3)
时间顺序
HolliZhao
#2 回复于2020-06

飞桨文档有相关介绍,可以试试 :ヾ(。ꏿ﹏ꏿ)ノ゙https://www.paddlepaddle.org.cn/documentation/docs/zh/advanced_guide/performance_improving/multinode_training_improving/gpu_training_with_recompute.html

0
回复
星光ld1
#3 回复于2020-06

自定义optimizer应该可以实现?

0
回复
thinc
#4 回复于2020-06

你这个和减小batch类似啊

0
回复
需求/bug反馈?一键提issue告诉我们
发现bug?如果您知道修复办法,欢迎提pr直接参与建设飞桨~
在@后输入用户全名并按空格结束,可艾特全站任一用户