首页 Paddle框架 帖子详情
loss不下降
收藏
快速回复
Paddle框架 问答模型训练 5369 27
loss不下降
收藏
快速回复
Paddle框架 问答模型训练 5369 27

我想问一下为什么我的loss不下数据集7000张图片,应该不会有这样震荡的问题吧望大佬解答

0
收藏
回复
全部评论(27)
时间顺序
CChan
#2 回复于2020-05

用的什么模型?

1
回复
P
Promesten
#3 回复于2020-05
CChan #2
用的什么模型?

用的yolov3优化器设置SGD  动量衰减0.0005  初始学习率1e-4 动量:0.9

0
回复
thinc
#4 回复于2020-05

参考的哪个baseline?网络用的什么呢?

1
回复
thinc
#5 回复于2020-05

loss不下降有太多种可能了,而且不一定要降到0.几才说明模型好

1
回复
水水水的老师
#6 回复于2020-05

网络骨架是什么?

2
回复
水水水的老师
#7 回复于2020-05

loss不下来有多种原因

1
回复
m
mar836924042
#8 回复于2020-05

1.学习率:学习率直接调小10倍试一下,如果还没下降就再除以10,如此反复。比如学习率从0.01逐步降到0.0001。直到学习率很小很小都不起用就尝试下面的方法

2.在卷积层和激活函数之间加入批量归一化Batch Normalization

3.调整图片尺寸

 

如果你解决的这个问题,希望分享一下是用什么方法解决的。

1
回复
P
Promesten
#9 回复于2020-05
网络骨架是什么?

darknet53

0
回复
P
Promesten
#10 回复于2020-05
1.学习率:学习率直接调小10倍试一下,如果还没下降就再除以10,如此反复。比如学习率从0.01逐步降到0.0001。直到学习率很小很小都不起用就尝试下面的方法 2.在卷积层和激活函数之间加入批量归一化Batch Normalization 3.调整图片尺寸   如果你解决的这个问题,希望分享一下是用什么方法解决的。
展开

我使用的是余弦退火50个epoch初始学习率是1e-4,截止学习率是1e-6我训练50epoch的时候学习率停止在1e-6

0
回复
P
Promesten
#11 回复于2020-05
1.学习率:学习率直接调小10倍试一下,如果还没下降就再除以10,如此反复。比如学习率从0.01逐步降到0.0001。直到学习率很小很小都不起用就尝试下面的方法 2.在卷积层和激活函数之间加入批量归一化Batch Normalization 3.调整图片尺寸   如果你解决的这个问题,希望分享一下是用什么方法解决的。
展开

我认为1e-6已经足够小了所以我在想是不是别的问题

0
回复
水水水的老师
#12 回复于2020-05
Promesten #11
我认为1e-6已经足够小了所以我在想是不是别的问题

你设置的超微大些

0
回复
thinc
#13 回复于2020-05
你设置的超微大些

跟学习率关系不大,1e6够了,不用担心局部最低点

0
回复
RayAction
#14 回复于2020-05

有可能网络收敛到了一个鞍点,学习率过小,无法跳脱鞍点,建议换一种opt方式,可以先尝试warmup前期设置较大的学习率,然后缩小学习率

0
回复
水水水的老师
#15 回复于2020-05

我觉得是这里设置太小的缘故

0
回复
l
leiming_cool
#16 回复于2020-05

也可以看下数据预处理的方式

0
回复
MLTcola
#17 回复于2020-05

loss不收敛有很多方面吧,能康康你的搭建的模型吗

0
回复
AIStudio810258
#18 回复于2020-05
我觉得是这里设置太小的缘故

同感,可能陷入局部最优挑不出来了。

0
回复
AIStudio810258
#19 回复于2020-05

优化使用的SGD,没有动量因素,如果还没有“重激活”设置的话,这么小的学习率是有可能陷入局部最优出不来的。

0
回复
AIStudio810258
#20 回复于2020-05
Promesten #10
我使用的是余弦退火50个epoch初始学习率是1e-4,截止学习率是1e-6我训练50epoch的时候学习率停止在1e-6

我一般都是把学习率从大往小试

0
回复
AIStudio810258
#21 回复于2020-05

这么大震荡,会不会loss函数有问题?

0
回复
需求/bug反馈?一键提issue告诉我们
发现bug?如果您知道修复办法,欢迎提pr直接参与建设飞桨~
在@后输入用户全名并按空格结束,可艾特全站任一用户