首页 Paddle框架 帖子详情
训练过程中如果出现不收敛的情况,如何处理? 已解决
收藏
快速回复
Paddle框架 问答模型训练深度学习 557 1
训练过程中如果出现不收敛的情况,如何处理? 已解决
收藏
快速回复
Paddle框架 问答模型训练深度学习 557 1

训练过程中如果出现不收敛的情况,如何处理?

旧鸱c_
已解决
2# 回复于2021-08
不收敛的原因有很多,可以参考如下方式排查: 检查数据集中训练数据的准确率,数据是否有错误,特征是否归一化; 简化网络结构,先基于benchmark实验,确保在baseline网络结构和数据集上的收敛结果正确; 对于复杂的网络,每次只增加一个改动,确保改动后的网络正确; 检查网络在训练数据上的Loss是否下降; 检查学习率、优化算法是否合适,学习率过大会导致不收敛; 检查batch_size设置是否合适,batch_size过小会导致不收敛; 检查梯度计算是否正确,是否有梯度过大的情况,是否为NaN。
展开
0
收藏
回复
全部评论(1)
时间顺序
旧鸱c_
#2 回复于2021-08

不收敛的原因有很多,可以参考如下方式排查:

检查数据集中训练数据的准确率,数据是否有错误,特征是否归一化;
简化网络结构,先基于benchmark实验,确保在baseline网络结构和数据集上的收敛结果正确;
对于复杂的网络,每次只增加一个改动,确保改动后的网络正确;
检查网络在训练数据上的Loss是否下降;
检查学习率、优化算法是否合适,学习率过大会导致不收敛;
检查batch_size设置是否合适,batch_size过小会导致不收敛;
检查梯度计算是否正确,是否有梯度过大的情况,是否为NaN。

0
回复
需求/bug反馈?一键提issue告诉我们
发现bug?如果您知道修复办法,欢迎提pr直接参与建设飞桨~
在@后输入用户全名并按空格结束,可艾特全站任一用户