训练过程中如果出现不收敛的情况，如何处理？
收藏
在训练模型时候，不收敛是一个比较常见的情况，那么遇到这种情况该如何处理呢？
- 检查数据集中训练数据的准确率，数据是否有错误，特征是否归一化；
- 简化网络结构，先基于benchmark实验，确保在baseline网络结构和数据集上的收敛结果正确；
- 对于复杂的网络，每次只增加一个改动，确保改动后的网络正确；
- 检查网络在训练数据上的Loss是否下降；
- 检查学习率、优化算法是否合适，学习率过大会导致不收敛；
DeepGeGe
已解决
2#
回复于2021-12
此外，还可以从下面两个方面进行处理： 1. 检查batch_size设置是否合适，batch_size过小会导致不收敛； 2. 检查梯度计算是否正确，是否有梯度过大的情况，是否为NaN。
0
收藏
请登录后评论
此外，还可以从下面两个方面进行处理：
1. 检查batch_size设置是否合适，batch_size过小会导致不收敛；
2. 检查梯度计算是否正确，是否有梯度过大的情况，是否为NaN。