首页 PaddleGAN 帖子详情
手写数字训练的gan训练20轮就输出全黑了
收藏
快速回复
PaddleGAN 问答生成 6860 53
手写数字训练的gan训练20轮就输出全黑了
收藏
快速回复
PaddleGAN 问答生成 6860 53

教材上的例程

https://aistudio.baidu.com/aistudio/projectdetail/499776

训练20轮左右分类器和判别器的loss就突然全大幅下降,然后生成图片就全黑了,怎么导致的?

 

0
收藏
回复
全部评论(53)
时间顺序
AIStudio810258
#2 回复于2020-05

这是因为判别器能力超出生成器太多了么?

0
回复
AIStudio810258
#3 回复于2020-05

我给生成器加了一层转置卷积,然后干脆不work了

0
回复
thinc
#4 回复于2020-05

这情况我也碰到过......

我想可能是网络的问题,试着加深下网络,模型应该还不够鲁棒

0
回复
a
a stan
#5 回复于2020-05

20轮后loss是下面这样,生成器loss应该在0.67左右,试了下没有出现图黑的情况。。是不是改了某些参数,加一层转置卷积输出特征图就翻倍了吧,这个预训练模型很容易就收敛了

0
回复
AIStudio810258
#6 回复于2020-05
thinc #4
这情况我也碰到过...... 我想可能是网络的问题,试着加深下网络,模型应该还不够鲁棒

我怕是生成器不争气,给生成器加了层转置卷积。然后就给我生成了个“发光的鸡蛋”,2epoch后就黑屏了。

0
回复
AIStudio810258
#7 回复于2020-05
a stan #5
20轮后loss是下面这样,生成器loss应该在0.67左右,试了下没有出现图黑的情况。。是不是改了某些参数,加一层转置卷积输出特征图就翻倍了吧,这个预训练模型很容易就收敛了[图片][图片]

一般20轮没问题,30轮就费劲了,50轮肯定就~~

0
回复
AIStudio810258
#8 回复于2020-05
a stan #5
20轮后loss是下面这样,生成器loss应该在0.67左右,试了下没有出现图黑的情况。。是不是改了某些参数,加一层转置卷积输出特征图就翻倍了吧,这个预训练模型很容易就收敛了[图片][图片]

我是算着尺寸来的。

原来,全链接层用的7×7。我改成了3×3,然后用padding为2,步长为1的3×3卷积核把特征图给卷成7×7了。

0
回复
AIStudio810258
#9 回复于2020-05
我是算着尺寸来的。 原来,全链接层用的7×7。我改成了3×3,然后用padding为2,步长为1的3×3卷积核把特征图给卷成7×7了。

是改成了5×5,然后用padding为2,步长为1的3×3卷积核.

这样做的转置卷积,没用池化扩大特征图。

0
回复
AIStudio810258
#10 回复于2020-05
a stan #5
20轮后loss是下面这样,生成器loss应该在0.67左右,试了下没有出现图黑的情况。。是不是改了某些参数,加一层转置卷积输出特征图就翻倍了吧,这个预训练模型很容易就收敛了[图片][图片]

这是公开项目么?

如果是请给个链接。

0
回复
没入门的研究生
#11 回复于2020-05

你给的链接是私密状态的,别人没法访问。

0
回复
a
a stan
#12 回复于2020-06
这是公开项目么? 如果是请给个链接。

是教程里的,不知道跟你的是不是一样。https://aistudio.baidu.com/aistudio/projectdetail/512021

0
回复
RayAction
#13 回复于2020-06

训练cyclegan那会也是,训练久了生成器就是一片黑。loss没有异常。所以可能还是过拟合了吧

0
回复
星光ld1
#14 回复于2020-06

模式崩塌?

0
回复
thinc
#15 回复于2020-06
星光ld1 #14
模式崩塌?

应该是模型不够鲁棒,得强化一下了,但是epoch调高点肯定能出来结果

0
回复
AIStudio810258
#16 回复于2020-06
你给的链接是私密状态的,别人没法访问。

我给公开了,就是书上的例程

0
回复
AIStudio810258
#17 回复于2020-06
你给的链接是私密状态的,别人没法访问。

我试过用转置卷积代替池化,效果也不理想。

0
回复
AIStudio810258
#18 回复于2020-06
a stan #12
是教程里的,不知道跟你的是不是一样。https://aistudio.baidu.com/aistudio/projectdetail/512021

谢谢,我再试试这里方法。

0
回复
AIStudio810258
#19 回复于2020-06
RayAction #13
训练cyclegan那会也是,训练久了生成器就是一片黑。loss没有异常。所以可能还是过拟合了吧

我的情况是判别器和生成器loss都大幅下降

0
回复
AIStudio810258
#20 回复于2020-06
RayAction #13
训练cyclegan那会也是,训练久了生成器就是一片黑。loss没有异常。所以可能还是过拟合了吧

感觉就是,生成器生成“全黑”,判别器就判别全假。。。loss都很低

0
回复
AIStudio810258
#21 回复于2020-06
thinc #15
应该是模型不够鲁棒,得强化一下了,但是epoch调高点肯定能出来结果

是说,即使输出全黑,loss大幅下降时,仍然继续训练么?

0
回复
需求/bug反馈?一键提issue告诉我们
发现bug?如果您知道修复办法,欢迎提pr直接参与建设飞桨~
在@后输入用户全名并按空格结束,可艾特全站任一用户