飞桨论文复现营 UGATIT 复现心得
收藏
快速回复
飞桨论文复现挑战赛 问答学习资料 4117 12
飞桨论文复现营 UGATIT 复现心得
收藏
快速回复
飞桨论文复现挑战赛 问答学习资料 4117 12

《U-GAT-IT UNSUPERVISED GENERATIVE ATTENTIONAL NETWORKS WITH ADAPTIVE LAYERINSTANCE NORMALIZATION FOR IMAGE-TO-IMAGE》复现心得

 

首先,感谢AI Studio提供这次论文复现营的学习机会,大咖老师讲解,8卡P100 GPU加持~~

这次复现的论文是今年发表的,处于技术发展的前沿,所以,感觉要想完美复原论文的效果需要对GAN的技术有一定的积累。这篇论文是在CycleGAN的基础上,使用heatmap热图引导模型,将学习图像特征的焦点,更多的集中在五官和人脸轮廓上,以使在风格迁移的过程中保留更多的原照片的特征,使生成的卡通图像“更像”照片中的人。为了在特征迁移和特征保持之间选择最佳效果,论文采用动态调整LN和IN比例的方式来实现,并且将这个比例作为网络的一部分参数自动学习。

开始复现的时候,我将pytorch版的代码“翻译”成了Paddle版的。结果,果然跑不通~~!看来这种“照猫画虎”式的复现不是个好主意。还是得在CycleGAN的基础上,一步步的添加论文的特色组件,步步为的营改进模型。

在实现论文功能的过程中,我发现,对于论文里提出的新方法、新功能,框架是不可能提供现成的模块的。想实现这些改进,要对框架的结构和一些功能实现有一定深入的了解。好在Paddle提供了比较详实的文档,模块的功能、实现(公式)都写得比较清楚。这也需要复现的同学有“超越调参侠的炼丹理论功底”。

在调试模型,尤其是debug时,loss函数是非常重要的。其实GAN的生成器和判别器就是卷积网络,实现风格迁移主要靠的的loss的巧妙设计。我在跑模型时,由于一个变量名的错误导致风格根本没有迁移,最后还是通过将GAN的loss的各个部分拆开逐一打印,定位、解决了问题。看来,要想治好不干活的GAN,还得靠“脉象(loss)”诊断,夜观天象(对着输出发呆),只能收获更多鼻涕(着凉了)~~

还有一点就是,新论文实现的模型一般体量都不小,一般的硬件是消化不了的,即使有8卡P100加持,也得算力卡充足不是。所以在开始验证模型是否有效时,可以尝试降低图片尺寸、模型宽度、数据规模,以节省时间,速成正果。

最后,感谢复现营里各位老师、同学的热心指导、帮助,让我收获了许多知识与乐趣。深度学习就像 a box of chocolate,总是让人回味无穷又充满期待!

0
收藏
回复
全部评论(12)
时间顺序
aaaaaa
#2 回复于2020-09

太强了

0
回复
aaaaaa
#3 回复于2020-09

期待开源

0
回复
Zohar
#4 回复于2020-09

同复习,向大佬学习

0
回复
AIStudio810258
#5 回复于2020-09
aaaaaa #2
太强了

等着欣赏2w大佬的表演吧,我感觉我做的模型还是有点问题要解决~~

0
回复
AIStudio810258
#6 回复于2020-09
aaaaaa #3
期待开源

最后应该是全部开源的

0
回复
AIStudio810258
#7 回复于2020-09
Zohar #4
同复习,向大佬学习

同学,同学~~

0
回复
暮光の灵
#8 回复于2020-09

前排观摩大佬

0
回复
Mr.郑先生_
#9 回复于2020-09

哇塞,棒!

0
回复
AIStudio810258
#10 回复于2020-09
前排观摩大佬

群里有高人啊~~

0
回复
AIStudio810258
#11 回复于2020-09
哇塞,棒!

棒的大有人在~~

0
回复
深渊上的坑
#12 回复于2021-05

太牛了……

0
回复
FutureSI
#13 回复于2021-05
太牛了……

我刚在spade的项目里调侃了下ugatit~~

0
回复
在@后输入用户全名并按空格结束,可艾特全站任一用户