关于Adam优化器学习率调整的问题?
收藏
图像识别训练了30轮,训练集的损失函数一直在0.1左右,准确率在0.95左右,测试集的损失函数在0.15左右,准确率在0.94-0.95左右。然后损失函数就一直在这个范围波动,用的Adam,学习率在0.001,想要进一步提升性能,降低损失函数,如果将学习率减小变为0.0001,结果会好吗?
其实是想问:Adam是自适应的优化器,那么在最初设置学习率为0.001,在经过多轮训练后,学习率是会自动适应,不用人为衰减是吗?也就是说,只要训练轮数足够,Adam的优化器能够自己到达最优的数值?
我就是想问:Adam用人为进行学习率衰减吗?我训练完之后损失函数在0.1这个范围波动,不咋下降了,我就想人为减小下学习率,这个想法对不对?
0
收藏
请登录后评论
loss不一定越低越好的,通过人为下降的方式确实可以有效降低loss数值,但测试集的loss很有可能会上升
可以再结合阶段下降的学习率,可以用类似这样的 API 来包裹学习率实现:
fluid.layers.piecewise_decay
paddle 的文档上有介绍,可以查
还是要设置学习率衰减的,可以用分段衰减或余弦衰减。可以参考大佬们比赛后发布的报告和代码,调优都会用衰减
学到了
大佬发布的代码在哪看呀?
看这个目标检测的
https://aistudio.baidu.com/aistudio/projectdetail/289616
也可以看paddle 的代码库