模型前向、反向计算已经对齐的情况下，执行优化器的 backward() 方法后更新的权重却不一样。如果使用 SGD 这样没有参数的优化器就能对齐更新的梯度和计算的loss，如果换成 Momentum 或 adam 优化器就对不齐了。推测是优化器算出来的学习率不同导致的相同的梯度，却更新出来的权重是不同的。

adam 的两个 beta 参数，epsilon 项设置是相同的，但就是更新后的权重不同，难道 adam 的实现还有用了其它的改进么？

其它改进版本应该封装成其它优化器了吧。。。adam 应该实现都一样吧

虽然论坛改版可以点进头像查项目了，还是建议直接甩项目出来嘛（别谦虚哈哈），方便大家阅读。

我猜是这个：

炼丹不可不知的学习率策略 https://aistudio.baidu.com/aistudio/projectdetail/1830074

灰常感谢，这个总结很全面啊

哈哈，既然觉得这个回复不错，不妨设为最佳回复试试

是说解决方案吧，已经设了