【飞桨】【论文复现】U-GAT-IT论文浅析
收藏
开 门 见 山
学这篇论文之后得到的第一感受就是: 细节决定了网络的成败
为什么添加食材:论文 之后直接得到了 一碗鸡汤 呢
首先,本篇论文大部分工作是在NCSOFT完成的。对应作者作为会议文件在ICLR 2020上发表。
废话不多说直接上图
(上图U-GAT-IT的模型架构)
也许是我的理解水平有限,一般在论文中讲在哪哪哪发表的应该就不是再指的本篇论文了
那样的话,这篇论文大部分的工作基础就是站在了巨人的肩膀上
其次,本篇论文有两个创新点
- 将网络生成器和判别器结合了一个注意模块(attention module),使用该注意模块可以聚焦重要的特征点,从而在生成器中促进了形状的变换,在判别器中也可以注意模块通过关注目标域中真实图像和虚假图像之间的差异来帮助微调。(这样的好处就让模型更加的泛化,不会受到陌生图像带来的不相干特征干扰)
- 提出了自适应层实例归一化(AdaLIN),其参数在训练期间通过自适应地选择实例归一化(IN)和层归一化(LN)之间的适当比率从数据集学习。AdaLIN功能帮助我们的注意力导向模型灵活控制形状和纹理的变化量。因此,我们的模型在不修改模型结构或超参数的情况下,可以执行图像转换任务,不仅适应整体改变,还适应大的形状改变
上图中第二列便是生成器注意模块(重点关注)注意的地方,第三列第四列是判别器通过注意模块判断的局部注意图和全局注意的图
而第五列便是本篇论文网络实现的风格转换,第六列则是常规的方法,可以看到的只能用四个字来描述
效 果 拔 群!
(学会了这就去帮妹子做动漫头像)
正是这样,本篇论文作者不仅提出了自己的创新点,并且在网络实现的每一步上都进行了非常严格的推理和优化
并且进行了大量的实验,最终才能得到优于其他相关的网络的结果,看完之后是非常佩服
最后放出来这篇论文让人佩服的训练结果
五类不同的任务目标 (第二列是本文所得结果)
太强了!
附上链接: U-GAT-IT: Unsupervised Generative Attentional Networks with Adaptive Layer-Instance Normalization for Image-to-Image Translation
https://github.com/znxlwm/UGATIT-pytorch
2
收藏
我明白 我是想 知道代码位置
啊哈哈哈 等我跑通我就把代码贴出来,最近超肝....
正在努力前往...
群里大佬们有的已经在调参优化了,超级快
同路
插个眼 有大佬带路就是趟
今天晚上应该有直播了