教材上的例程
https://aistudio.baidu.com/aistudio/projectdetail/499776
训练20轮左右分类器和判别器的loss就突然全大幅下降,然后生成图片就全黑了,怎么导致的?
可以试试,但我猜模型可能往不正确的方向走了
gan同时调两个模型,还得一起进步。调参难度真杂技啊
我想到一办法:就是每轮模型都保存下,然后分别读取开始出问题的那一轮的模型,单独训练试试~~
貌似处理有点复杂了。
可能gan得用动态图写才行
每epoch存储模型,处理不复杂的
感觉他说的不对。要是cyclegan,训练200epoch 8核v100都要1天,单核需要5天,耗不起
嗯,还是得分析问题原因
是,我觉得这个缺点就是训练周期太长了,出了错以后改了还得半天
可以先拿小epoch测一下,gan吃资源这没办法
啥法都得试试,
嫌麻烦就迁移哈哈,数字识别的模型肯定很多
跟着学习学习。
哈哈,出现了小曙光,下个项目更新有戏了
请问您说的看见曙光,是找到gan生成黑色图片的原因了吗?我现在也碰到了这个情况,请问您是怎么解决的?
其实就是gan训练不稳定导致的
如果分别打印下判别器的loss 会发现,判别器训练得太快了,生成器就“傻了”。
可以使用lsgan的loss代替原来的交叉商损失函数
将生成器的最后一层的激活函数改为tanh也可以起到稳定的效果,参见
https://aistudio.baidu.com/aistudio/projectdetail/551962
但是有理论支撑的根本性解决还是要用lsgan 或 wgan 之类的改进gan 的loss
文章写得很好懂!我生成器最后一层是tanh,用的也是lsgan loss,我试试调下G和D训练比例!
可以试试,但我猜模型可能往不正确的方向走了
gan同时调两个模型,还得一起进步。调参难度真杂技啊
我想到一办法:就是每轮模型都保存下,然后分别读取开始出问题的那一轮的模型,单独训练试试~~
貌似处理有点复杂了。
可能gan得用动态图写才行
每epoch存储模型,处理不复杂的
感觉他说的不对。要是cyclegan,训练200epoch 8核v100都要1天,单核需要5天,耗不起
嗯,还是得分析问题原因
是,我觉得这个缺点就是训练周期太长了,出了错以后改了还得半天
可以先拿小epoch测一下,gan吃资源这没办法
啥法都得试试,
嫌麻烦就迁移哈哈,数字识别的模型肯定很多
跟着学习学习。
哈哈,出现了小曙光,下个项目更新有戏了
请问您说的看见曙光,是找到gan生成黑色图片的原因了吗?我现在也碰到了这个情况,请问您是怎么解决的?
其实就是gan训练不稳定导致的
如果分别打印下判别器的loss 会发现,判别器训练得太快了,生成器就“傻了”。
可以使用lsgan的loss代替原来的交叉商损失函数
将生成器的最后一层的激活函数改为tanh也可以起到稳定的效果,参见
https://aistudio.baidu.com/aistudio/projectdetail/551962
但是有理论支撑的根本性解决还是要用lsgan 或 wgan 之类的改进gan 的loss
文章写得很好懂!我生成器最后一层是tanh,用的也是lsgan loss,我试试调下G和D训练比例!