首页 PaddleGAN 帖子详情
手写数字训练的gan训练20轮就输出全黑了
收藏
快速回复
PaddleGAN 问答生成 6946 53
手写数字训练的gan训练20轮就输出全黑了
收藏
快速回复
PaddleGAN 问答生成 6946 53

教材上的例程

https://aistudio.baidu.com/aistudio/projectdetail/499776

训练20轮左右分类器和判别器的loss就突然全大幅下降,然后生成图片就全黑了,怎么导致的?

 

0
收藏
回复
全部评论(53)
时间顺序
thinc
#22 回复于2020-06
是说,即使输出全黑,loss大幅下降时,仍然继续训练么?

可以试试,但我猜模型可能往不正确的方向走了

0
回复
AIStudio810258
#23 回复于2020-06
thinc #22
可以试试,但我猜模型可能往不正确的方向走了

gan同时调两个模型,还得一起进步。调参难度真杂技啊

0
回复
AIStudio810258
#24 回复于2020-06
thinc #22
可以试试,但我猜模型可能往不正确的方向走了

我想到一办法:就是每轮模型都保存下,然后分别读取开始出问题的那一轮的模型,单独训练试试~~

0
回复
AIStudio810258
#25 回复于2020-06
我想到一办法:就是每轮模型都保存下,然后分别读取开始出问题的那一轮的模型,单独训练试试~~

貌似处理有点复杂了。

可能gan得用动态图写才行

0
回复
RayAction
#26 回复于2020-06
我想到一办法:就是每轮模型都保存下,然后分别读取开始出问题的那一轮的模型,单独训练试试~~

每epoch存储模型,处理不复杂的

0
回复
RayAction
#27 回复于2020-06
是说,即使输出全黑,loss大幅下降时,仍然继续训练么?

感觉他说的不对。要是cyclegan,训练200epoch 8核v100都要1天,单核需要5天,耗不起

0
回复
AIStudio810258
#28 回复于2020-06
RayAction #27
感觉他说的不对。要是cyclegan,训练200epoch 8核v100都要1天,单核需要5天,耗不起

嗯,还是得分析问题原因

0
回复
MLTcola
#29 回复于2020-06
RayAction #27
感觉他说的不对。要是cyclegan,训练200epoch 8核v100都要1天,单核需要5天,耗不起

是,我觉得这个缺点就是训练周期太长了,出了错以后改了还得半天

0
回复
thinc
#30 回复于2020-06
MLTcola #29
是,我觉得这个缺点就是训练周期太长了,出了错以后改了还得半天

可以先拿小epoch测一下,gan吃资源这没办法

0
回复
AIStudio810258
#31 回复于2020-06
MLTcola #29
是,我觉得这个缺点就是训练周期太长了,出了错以后改了还得半天

啥法都得试试,

0
回复
thinc
#32 回复于2020-06
啥法都得试试,

嫌麻烦就迁移哈哈,数字识别的模型肯定很多

0
回复
r
rose20135188
#33 回复于2020-06

跟着学习学习。

0
回复
AIStudio810258
#34 回复于2020-06

哈哈,出现了小曙光,下个项目更新有戏了

0
回复
锈之羁绊
#35 回复于2020-09

请问您说的看见曙光,是找到gan生成黑色图片的原因了吗?我现在也碰到了这个情况,请问您是怎么解决的?

0
回复
AIStudio810258
#36 回复于2020-09
请问您说的看见曙光,是找到gan生成黑色图片的原因了吗?我现在也碰到了这个情况,请问您是怎么解决的?

其实就是gan训练不稳定导致的

0
回复
AIStudio810258
#37 回复于2020-09
请问您说的看见曙光,是找到gan生成黑色图片的原因了吗?我现在也碰到了这个情况,请问您是怎么解决的?

如果分别打印下判别器的loss 会发现,判别器训练得太快了,生成器就“傻了”。

0
回复
AIStudio810258
#38 回复于2020-09

可以使用lsgan的loss代替原来的交叉商损失函数

0
回复
AIStudio810258
#39 回复于2020-09

将生成器的最后一层的激活函数改为tanh也可以起到稳定的效果,参见

https://aistudio.baidu.com/aistudio/projectdetail/551962

0
回复
AIStudio810258
#40 回复于2020-09
请问您说的看见曙光,是找到gan生成黑色图片的原因了吗?我现在也碰到了这个情况,请问您是怎么解决的?

但是有理论支撑的根本性解决还是要用lsgan 或 wgan 之类的改进gan 的loss

0
回复
锈之羁绊
#41 回复于2020-09
如果分别打印下判别器的loss 会发现,判别器训练得太快了,生成器就“傻了”。

文章写得很好懂!我生成器最后一层是tanh,用的也是lsgan loss,我试试调下G和D训练比例!

0
回复
需求/bug反馈?一键提issue告诉我们
发现bug?如果您知道修复办法,欢迎提pr直接参与建设飞桨~
在@后输入用户全名并按空格结束,可艾特全站任一用户