教材上的例程
https://aistudio.baidu.com/aistudio/projectdetail/499776
训练20轮左右分类器和判别器的loss就突然全大幅下降,然后生成图片就全黑了,怎么导致的?
这是因为判别器能力超出生成器太多了么?
我给生成器加了一层转置卷积,然后干脆不work了
这情况我也碰到过......
我想可能是网络的问题,试着加深下网络,模型应该还不够鲁棒
20轮后loss是下面这样,生成器loss应该在0.67左右,试了下没有出现图黑的情况。。是不是改了某些参数,加一层转置卷积输出特征图就翻倍了吧,这个预训练模型很容易就收敛了
我怕是生成器不争气,给生成器加了层转置卷积。然后就给我生成了个“发光的鸡蛋”,2epoch后就黑屏了。
一般20轮没问题,30轮就费劲了,50轮肯定就~~
我是算着尺寸来的。
原来,全链接层用的7×7。我改成了3×3,然后用padding为2,步长为1的3×3卷积核把特征图给卷成7×7了。
是改成了5×5,然后用padding为2,步长为1的3×3卷积核.
这样做的转置卷积,没用池化扩大特征图。
这是公开项目么?
如果是请给个链接。
你给的链接是私密状态的,别人没法访问。
是教程里的,不知道跟你的是不是一样。https://aistudio.baidu.com/aistudio/projectdetail/512021
训练cyclegan那会也是,训练久了生成器就是一片黑。loss没有异常。所以可能还是过拟合了吧
模式崩塌?
应该是模型不够鲁棒,得强化一下了,但是epoch调高点肯定能出来结果
我给公开了,就是书上的例程
我试过用转置卷积代替池化,效果也不理想。
谢谢,我再试试这里方法。
我的情况是判别器和生成器loss都大幅下降
感觉就是,生成器生成“全黑”,判别器就判别全假。。。loss都很低
是说,即使输出全黑,loss大幅下降时,仍然继续训练么?
这是因为判别器能力超出生成器太多了么?
我给生成器加了一层转置卷积,然后干脆不work了
这情况我也碰到过......
我想可能是网络的问题,试着加深下网络,模型应该还不够鲁棒
20轮后loss是下面这样,生成器loss应该在0.67左右,试了下没有出现图黑的情况。。是不是改了某些参数,加一层转置卷积输出特征图就翻倍了吧,这个预训练模型很容易就收敛了

我怕是生成器不争气,给生成器加了层转置卷积。然后就给我生成了个“发光的鸡蛋”,2epoch后就黑屏了。
一般20轮没问题,30轮就费劲了,50轮肯定就~~
我是算着尺寸来的。
原来,全链接层用的7×7。我改成了3×3,然后用padding为2,步长为1的3×3卷积核把特征图给卷成7×7了。
是改成了5×5,然后用padding为2,步长为1的3×3卷积核.
这样做的转置卷积,没用池化扩大特征图。
这是公开项目么?
如果是请给个链接。
你给的链接是私密状态的,别人没法访问。
是教程里的,不知道跟你的是不是一样。https://aistudio.baidu.com/aistudio/projectdetail/512021
训练cyclegan那会也是,训练久了生成器就是一片黑。loss没有异常。所以可能还是过拟合了吧
模式崩塌?
应该是模型不够鲁棒,得强化一下了,但是epoch调高点肯定能出来结果
我给公开了,就是书上的例程
我试过用转置卷积代替池化,效果也不理想。
谢谢,我再试试这里方法。
我的情况是判别器和生成器loss都大幅下降
感觉就是,生成器生成“全黑”,判别器就判别全假。。。loss都很低
是说,即使输出全黑,loss大幅下降时,仍然继续训练么?