课程链接：https://aistudio.baidu.com/aistudio/education/group/info/1340

论文：U-GAT-IT: Unsupervised Generative Attentional Networks with Adaptive Layer-Instance Normalization for Image-to-Image Translation 无监督图像转换模型

论文地址：https://arxiv.org/pdf/1907.10830

本文的背景是为了解决图像到图像的转换，传统的大多数工作都围绕着局部纹理间的转换展开的，例如人脸属性变换、画作的风格变换、图像分割等，但在领域之间差距较大的场景下，传统的工作效果很差。作者通过引入注意力机制和自适应图层实例归一化（AdaLIN），使得 U-GAT-IT 实现了鲁棒下的图像转换。这里的注意力机制不是传统的 Attention 或者 Self-Attention 的方式通过计算全图的权重作为关注，而是采用全局和平均池化下的类激活图（Class Activation Map-CAM）来实现的，而AdaLIN的作用是帮助注意力引导模型灵活控制形状和纹理的变化量，从而提升模型的鲁棒性。

本文提出的模型也是一个端到端的模型， 结构如下

其计算 CAM过程如下，U-GAT-IT 对于图像经过下采样和残差块得到的 Encoder Feature map 经过 Global average / max pooling 后得到依托通道数的特征向量。创建可学习参数 weight，经过全连接层压缩到 B×1 维，这里的 B 是 BatchSize，对于图像转换，通常取为 1。当生成器可以很好的区分出源域和目标域输入时在注意力模块下可以帮助模型了解在何处进行密集转换，具体来说将得到的注意力图做 concat，经过一层卷积层还原为输入通道数，便送入 AdaLIN 下进行自适应归一化。

总的来说U-GAT-IT的优势如下：  

1. 提出了一种新的无监督图像到图像转换方法，它具有新的注意模块和新的归一化函数 AdaLIN。  

2. 注意模块通过基于辅助分类器获得的注意力图区分源域和目标域，帮助模型知道在何处进行密集转换。  

3. AdaLIN 功能帮助注意力引导模型灵活地控制形状和纹理的变化量，增强模型鲁棒性。

参考：

1.https://arxiv.org/pdf/1907.10830

2.https://www.lizenghai.com/archives/28709.html?clicktime=1578932817

3.https://blog.csdn.net/qq_24810263/article/details/98754997

4.https://www.sohu.com/a/333947112_500659

5.https://ai.baidu.com/forum/topic/show/964799