《U-GAT-IT UNSUPERVISED GENERATIVE ATTENTIONAL NETWORKS WITH ADAPTIVE LAYERINSTANCE NORMALIZATION FOR IMAGE-TO-IMAGE》复现心得

首先，感谢AI Studio提供这次论文复现营的学习机会，大咖老师讲解，8卡P100 GPU加持～～

这次复现的论文是今年发表的，处于技术发展的前沿，所以，感觉要想完美复原论文的效果需要对GAN的技术有一定的积累。这篇论文是在CycleGAN的基础上，使用heatmap热图引导模型，将学习图像特征的焦点，更多的集中在五官和人脸轮廓上，以使在风格迁移的过程中保留更多的原照片的特征，使生成的卡通图像“更像”照片中的人。为了在特征迁移和特征保持之间选择最佳效果，论文采用动态调整LN和IN比例的方式来实现，并且将这个比例作为网络的一部分参数自动学习。

开始复现的时候，我将pytorch版的代码“翻译”成了Paddle版的。结果，果然跑不通～～！看来这种“照猫画虎”式的复现不是个好主意。还是得在CycleGAN的基础上，一步步的添加论文的特色组件，步步为的营改进模型。

在实现论文功能的过程中，我发现，对于论文里提出的新方法、新功能，框架是不可能提供现成的模块的。想实现这些改进，要对框架的结构和一些功能实现有一定深入的了解。好在Paddle提供了比较详实的文档，模块的功能、实现（公式）都写得比较清楚。这也需要复现的同学有“超越调参侠的炼丹理论功底”。

在调试模型，尤其是debug时，loss函数是非常重要的。其实GAN的生成器和判别器就是卷积网络，实现风格迁移主要靠的的loss的巧妙设计。我在跑模型时，由于一个变量名的错误导致风格根本没有迁移，最后还是通过将GAN的loss的各个部分拆开逐一打印，定位、解决了问题。看来，要想治好不干活的GAN，还得靠“脉象（loss）”诊断，夜观天象（对着输出发呆），只能收获更多鼻涕（着凉了）～～

还有一点就是，新论文实现的模型一般体量都不小，一般的硬件是消化不了的，即使有8卡P100加持，也得算力卡充足不是。所以在开始验证模型是否有效时，可以尝试降低图片尺寸、模型宽度、数据规模，以节省时间，速成正果。

最后，感谢复现营里各位老师、同学的热心指导、帮助，让我收获了许多知识与乐趣。深度学习就像 a box of chocolate，总是让人回味无穷又充满期待！