首页 Paddle框架 帖子详情
2.0版本中loss.backward() 是否默认清空上个step 的梯度? 已解决
收藏
快速回复
Paddle框架 问答深度学习 481 1
2.0版本中loss.backward() 是否默认清空上个step 的梯度? 已解决
收藏
快速回复
Paddle框架 问答深度学习 481 1

2.0版本中loss.backward() 是否默认清空上个step 的梯度?

旧鸱c_
已解决
2# 回复于2021-08
2.0版本新增动态图梯度累加功能,起到变相“扩大BatchSize”的作用,backward()接口默认不清空上个step梯度。 解决方案: 调用optimizer.minimize()后,显式调用optimizer.clear_grad()来清空梯度。
展开
0
收藏
回复
全部评论(1)
时间顺序
旧鸱c_
#2 回复于2021-08

2.0版本新增动态图梯度累加功能,起到变相“扩大BatchSize”的作用,backward()接口默认不清空上个step梯度。

解决方案:
调用optimizer.minimize()后,显式调用optimizer.clear_grad()来清空梯度。

0
回复
需求/bug反馈?一键提issue告诉我们
发现bug?如果您知道修复办法,欢迎提pr直接参与建设飞桨~
在@后输入用户全名并按空格结束,可艾特全站任一用户