【飞桨】【论文复现】U-GAT-IT论文浅析
收藏
开 门 见 山
学这篇论文之后得到的第一感受就是: 细节决定了网络的成败
为什么添加食材:论文 之后直接得到了 一碗鸡汤 呢
首先,本篇论文大部分工作是在NCSOFT完成的。对应作者作为会议文件在ICLR 2020上发表。
废话不多说直接上图
(上图U-GAT-IT的模型架构)
也许是我的理解水平有限,一般在论文中讲在哪哪哪发表的应该就不是再指的本篇论文了
那样的话,这篇论文大部分的工作基础就是站在了巨人的肩膀上
其次,本篇论文有两个创新点
- 将网络生成器和判别器结合了一个注意模块(attention module),使用该注意模块可以聚焦重要的特征点,从而在生成器中促进了形状的变换,在判别器中也可以注意模块通过关注目标域中真实图像和虚假图像之间的差异来帮助微调。(这样的好处就让模型更加的泛化,不会受到陌生图像带来的不相干特征干扰)
- 提出了自适应层实例归一化(AdaLIN),其参数在训练期间通过自适应地选择实例归一化(IN)和层归一化(LN)之间的适当比率从数据集学习。AdaLIN功能帮助我们的注意力导向模型灵活控制形状和纹理的变化量。因此,我们的模型在不修改模型结构或超参数的情况下,可以执行图像转换任务,不仅适应整体改变,还适应大的形状改变
上图中第二列便是生成器注意模块(重点关注)注意的地方,第三列第四列是判别器通过注意模块判断的局部注意图和全局注意的图
而第五列便是本篇论文网络实现的风格转换,第六列则是常规的方法,可以看到的只能用四个字来描述
效 果 拔 群!
(学会了这就去帮妹子做动漫头像)
正是这样,本篇论文作者不仅提出了自己的创新点,并且在网络实现的每一步上都进行了非常严格的推理和优化
并且进行了大量的实验,最终才能得到优于其他相关的网络的结果,看完之后是非常佩服
最后放出来这篇论文让人佩服的训练结果
五类不同的任务目标 (第二列是本文所得结果)
太强了!
附上链接: U-GAT-IT: Unsupervised Generative Attentional Networks with Adaptive Layer-Instance Normalization for Image-to-Image Translation
https://github.com/znxlwm/UGATIT-pytorch
2
收藏
喜欢的小伙伴请点个赞吧
本人研三 未来将长期驻扎在paddle 毕业设计预运用WGAN和Dncnn 可以加个关注相互交流
赞!生动!
我也准备复现这一篇论文。一起加油。
来AI Studio互粉吧~等你哦~ https://aistudio.baidu.com/aistudio/personalcenter/thirdview/92276
已关注 哈哈 趁着暑假一起加油![](https://ai.bdstatic.com/file/1807DEFE3A6745A9BE019DEE1B32799A)
赞!
原来我还想过用热图引导图片分类呢,这里给用来引导生成器了
一位专业的大佬路过 举着小旗子欢迎![](https://ai.bdstatic.com/file/713943E7AA9545E2BD129B7C66A8358E)
大佬不敢当,我也是“见坑填坑”的好学生~~
喜欢填完坑,旁边立个纪念牌儿,提醒同学绕行。。。
我也是顺着大佬们出坑指南的指引跳过去不少坑的
有人带路的感觉真的太好了![](https://ai.bdstatic.com/file/8840CC4A85244BB5954CBF5C9475E620)
很厉害的样子
感觉这篇超有意思的
同感,大家一起就眼观六路了~~
哎呦 不错哦
请问你说的注意模块 是哪块代码?
期待复现
是指的热图生成器和判别器返回的热图那部分
是指的热图,生成器和判别器返回的热图那部分
一定好好加油!我还要给妹子做头像呢
群里已经有人跑通了,加油
厉害呀,不知道效果怎么样
今天还放出评价标准了