stylegan中AdaIN的作用是什么?这一步对于原图像有什么效果?
收藏
stylegan中AdaIN的作用是什么?为什么要有这一步?这一步对于原图像有什么效果?
我今年刚读研一,希望各位大佬回答的基础一下,详细一下!谢谢
0
收藏
请登录后评论
参考这个看看有没有帮助
https://zhuanlan.zhihu.com/p/57564626
adain是从conditional instance normalization演化来的,我也在学习。这篇也挺有启发:
https://zhuanlan.zhihu.com/p/57875010
后来可能为了避免adain导致的生成多样性减少问题,又有了adalin,自动调节组归一化和实例归一化的比例
我也正在看这个,感觉引用16那篇文章挺有启发,就那个 Controlling Perceptual Factors in Neural Style Transfer
风格迁移的前序理论叫纹理迁移。Gatys大神找到了一种方法使用VGG网络(参数不变)训练Grams矩阵,首次完成了使用CNN的纹理迁移。他这篇论文后来被广泛研究,证明了Grams矩阵等同于MMD(最大均值差异)。
MMD:对于分布f1、f2,假如MMD=0,那么f1和f2就是同分布。
《Demystifying Neural Style Transfer》又证明了CNN激活层后接上BN,最小化L2 Norm也等同于最小化MMD(注:BN方法是另外作者想到的,论文只是从理论上证明他们是等同的)。
后面又有大神研究IN比BN要好,然后为了一次迁移更多style,又发明了CIN(条件IN)。
CIN能迁移的style个数等同于vector的长度,于是有了AdaIN(所谓自适应IN)。
总而言之,AdaIN的效果就是从风格图迁移风格到Content Image。模块虽小,作用很大!