2.0版本中loss.backward() 是否默认清空上个step 的梯度?
2.0版本新增动态图梯度累加功能,起到变相“扩大BatchSize”的作用,backward()接口默认不清空上个step梯度。
解决方案:调用optimizer.minimize()后,显式调用optimizer.clear_grad()来清空梯度。
2.0版本新增动态图梯度累加功能,起到变相“扩大BatchSize”的作用,backward()接口默认不清空上个step梯度。
解决方案:
调用optimizer.minimize()后,显式调用optimizer.clear_grad()来清空梯度。