课程链接：https://aistudio.baidu.com/aistudio/education/group/info/1340

论文：U-GAT-IT: Unsupervised Generative Attentional Networks with Adaptive Layer-Instance Normalization for Image-to-Image Translation

图像到图像翻译中使用自适应实例归一化的非监督注意力生成网络

    这篇论文主要通过无监督的图像翻译，实现了图像域间纹理差别较大时的风格转换。这种基于无监督的图像到图像翻译新方法，以端到端的方式结合了注意力模块和可学习的归一化函数。注意力模块嵌入到网络的生成器和判别器中，通过辅助分类器获取的注意力图，可以区分源域和目标域，从而指导网络专注翻译较重要的区域，忽略次要区域。除了注意力机制外，对于形状和纹理变化量不同的各类数据中，归一化函数的选择对转换结果的好坏有重大影响，因此论文提出了一种自适应的实例归一化函数(AdaLIN)，该函数可以帮助注意力导向模型灵活控制形状和纹理的变化量。

网络整体结构如下图所示：

归一化函数 AdaLIN：  

    其中Ui和Ul分别是按通道、按层的平均值和标准差，γ和β是由全连接层生成的参数，τ是学习率，并且Δρ表示由优化器确定的参数更新向量（例如，梯度）。ρ只需在参数更新步骤中施加界限，即将值限制在[0，1]的范围内。生成器会调整该值，以便在IN非常重要的任务中，使其值接近1，而在LN重要的任务中，其值接近0。ρ的值在解码器的残差块中初始化为1，在解码器的上采样块中初始化为0。

attention的特征图

    attention的特征图是通过网络的encode编码阶段得到特征图，通过对特征图的最大池化，经过全连接层输出一个节点的预测，将全连接层的参数和特征图相乘，从而得到attention的特征图。

总的来说论文的主要贡献如下：

  1. 提出了一种新的风格转换方法，通过新的注意力模块和新的归一化函数AdaLIN进行无监督的图像到图像翻译。

  2. 注意力模块通过基于辅助分类器获得的注意力图，通过在源域和目标域之间进行区分来帮助模型了解要在哪里进行集中转换。

  3. AdaLIN函数可帮助我们的注意力导向模型灵活地控制形状和纹理的变化量，而无需修改模型架构或超参数。