首页 炼丹房 帖子详情
关于Adam优化器学习率调整的问题?
收藏
快速回复
炼丹房 问答新手上路 6890 7
关于Adam优化器学习率调整的问题?
收藏
快速回复
炼丹房 问答新手上路 6890 7

图像识别训练了30轮,训练集的损失函数一直在0.1左右,准确率在0.95左右,测试集的损失函数在0.15左右,准确率在0.94-0.95左右。然后损失函数就一直在这个范围波动,用的Adam,学习率在0.001,想要进一步提升性能,降低损失函数,如果将学习率减小变为0.0001,结果会好吗?

其实是想问:Adam是自适应的优化器,那么在最初设置学习率为0.001,在经过多轮训练后,学习率是会自动适应,不用人为衰减是吗?也就是说,只要训练轮数足够,Adam的优化器能够自己到达最优的数值?

我就是想问:Adam用人为进行学习率衰减吗?我训练完之后损失函数在0.1这个范围波动,不咋下降了,我就想人为减小下学习率,这个想法对不对?

0
收藏
回复
全部评论(7)
时间顺序
thinc
#2 回复于2020-09

loss不一定越低越好的,通过人为下降的方式确实可以有效降低loss数值,但测试集的loss很有可能会上升

0
回复
笨笨
#3 回复于2020-09

可以再结合阶段下降的学习率,可以用类似这样的 API 来包裹学习率实现:
fluid.layers.piecewise_decay

paddle 的文档上有介绍,可以查

0
回复
AIStudio810258
#4 回复于2020-09

还是要设置学习率衰减的,可以用分段衰减或余弦衰减。可以参考大佬们比赛后发布的报告和代码,调优都会用衰减

0
回复
七年期限
#5 回复于2020-09
thinc #2
loss不一定越低越好的,通过人为下降的方式确实可以有效降低loss数值,但测试集的loss很有可能会上升

学到了

0
回复
Mr.郑先生_
#6 回复于2020-09
还是要设置学习率衰减的,可以用分段衰减或余弦衰减。可以参考大佬们比赛后发布的报告和代码,调优都会用衰减

大佬发布的代码在哪看呀?

0
回复
AIStudio810258
#7 回复于2020-09
大佬发布的代码在哪看呀?

看这个目标检测的

https://aistudio.baidu.com/aistudio/projectdetail/289616

 

0
回复
AIStudio810258
#8 回复于2020-09
大佬发布的代码在哪看呀?

也可以看paddle 的代码库

0
回复
在@后输入用户全名并按空格结束,可艾特全站任一用户