首页 PaddleGAN 帖子详情
stylegan中AdaIN的作用是什么?这一步对于原图像有什么效果?
收藏
快速回复
PaddleGAN 问答风格迁移 2915 5
stylegan中AdaIN的作用是什么?这一步对于原图像有什么效果?
收藏
快速回复
PaddleGAN 问答风格迁移 2915 5

stylegan中AdaIN的作用是什么?为什么要有这一步?这一步对于原图像有什么效果?

我今年刚读研一,希望各位大佬回答的基础一下,详细一下!谢谢

0
收藏
回复
全部评论(5)
时间顺序
FutureSI
#2 回复于2021-08

参考这个看看有没有帮助

https://zhuanlan.zhihu.com/p/57564626

0
回复
FutureSI
#3 回复于2021-08

adain是从conditional instance normalization演化来的,我也在学习。这篇也挺有启发:

https://zhuanlan.zhihu.com/p/57875010

0
回复
FutureSI
#4 回复于2021-08

后来可能为了避免adain导致的生成多样性减少问题,又有了adalin,自动调节组归一化和实例归一化的比例

0
回复
FutureSI
#5 回复于2021-08

我也正在看这个,感觉引用16那篇文章挺有启发,就那个 Controlling Perceptual Factors in Neural Style Transfer

0
回复
o
ouyangshixiong
#6 回复于2022-08

风格迁移的前序理论叫纹理迁移。Gatys大神找到了一种方法使用VGG网络(参数不变)训练Grams矩阵,首次完成了使用CNN的纹理迁移。他这篇论文后来被广泛研究,证明了Grams矩阵等同于MMD(最大均值差异)。

MMD:对于分布f1、f2,假如MMD=0,那么f1和f2就是同分布。

《Demystifying Neural Style Transfer》又证明了CNN激活层后接上BN,最小化L2 Norm也等同于最小化MMD(注:BN方法是另外作者想到的,论文只是从理论上证明他们是等同的)。

后面又有大神研究IN比BN要好,然后为了一次迁移更多style,又发明了CIN(条件IN)。

CIN能迁移的style个数等同于vector的长度,于是有了AdaIN(所谓自适应IN)。

总而言之,AdaIN的效果就是从风格图迁移风格到Content Image。模块虽小,作用很大!

0
回复
需求/bug反馈?一键提issue告诉我们
发现bug?如果您知道修复办法,欢迎提pr直接参与建设飞桨~
在@后输入用户全名并按空格结束,可艾特全站任一用户