如何解决显存不足（不减小batchsize）
收藏
训练时遇到显存不足又不能减少batchsize的问题，有没有提供将batchsize切分成多个小的minibatch分别训练的功能，前面几次只是保存累加梯度不更新参数，只在最后一次反向计算后更新参数，这样牺牲训练时间来解决物理显存不足的问题。其它框架（pytorch，matconvnet）都提供类似功能。
0
收藏
请登录后评论
飞桨文档有相关介绍，可以试试 ：ヾ(｡ꏿ﹏ꏿ)ﾉﾞhttps://www.paddlepaddle.org.cn/documentation/docs/zh/advanced_guide/performance_improving/multinode_training_improving/gpu_training_with_recompute.html
自定义optimizer应该可以实现？
你这个和减小batch类似啊