课程链接：https://aistudio.baidu.com/aistudio/education/group/info/1340

论文名称：Large scale GAN training for high fidelity natural image synthesis

本文仅从该论文采用的有效tricks和tricks带来的增益方面进行解读。

1.综述

尽管最近在生成性图像建模方面取得了进展，但是从诸如ImageNet之类的复杂数据集中成功生成高分辨率、多样的样本仍然是一个难以实现的目标。

文章希望既保证GAN生成图像的保真度又保证生成图像的多样性，对此，作者认为他们有三点贡献：

1、论证了GANs能通过scaling来提升性能。他们使用与原先技术相比，2~4倍的参数量和8倍的batch size，引入了两种简单的结构调整方法来提升网络的可扩展性，并修改一种正则化方案来提高conditioning。
2、上述修改产生的另一种影响是，模型非常适用于“trucation trick”，它是一种简单的采样技术，可以对样本多样性与保真性进行外部地细粒度地调节。
3、发现大型GAN特有的不稳定性，并从经验上对他们进行描述。经过分析表明通过现有技术与创新的技术的结合能够减少这种不稳定性，但是训练时完全的稳定性只能通过以较大地牺牲模型表现来实现。

作者训练的class-condition GAN在ImageNet上的表现很好（128X128分辨率），与state-of-art相比，Inception Score(IS)从52.52提升到166.3，Frechet Inception Distance(FID)从18.65下降到9.6.

评价指标：

1）IS--Inception Score:一般用来评价生成图片的质量和多样性 越大越好

2）FID--Fréchet Inception Distance:一般用来评价生成图片的质量和多样性，FID越小，则图像多样性越好，质量也越好

技巧方面：

1)这篇论文没有提出新的模型，只是将原有的GAN的模型，用8倍原有的batch size大小，并且将隐藏层的变量数量扩充到原有模型的4倍以后，进行训练获得了很好的图片生成的效果。与此同时，在扩充了变量数量和batch size大小后，模型出现了不稳定的现象，文章中对出现的不稳定现象，采用现有的比较有效的稳定训练GAN的方法，但是文中发现这样确实会稳定GAN的训练，但是同时会牺牲生成图片的质量。

2)提高通道数，将每层的通道数提升为原来的两倍，参数量进而翻番，这使得IS评分上升了21%。

3）共享嵌入层，文中对于类信息c使用batch norm处理，并采用了共享的策略，将c的信息传递给每一层中，这样可以提高性能，减少计算量。这使得模型训练速度提高了37%。

4）多层级潜在空间，作者使用了多种hierarchical latent spaces，即将噪声向量输入到生成器的不同层中，而不是仅仅输入到第一层。这种做的思路是用潜在空间来直接影响不同分辨率以及不同层次下的特征。hierarchical latents降低了计算量与内存占用，模型表现提升4%，训练速度提高18%。

5）截断技巧，一般的噪声向量服从分布z∼N(0,I)z\sim\mathcal{N}(0,I)z∼N(0,I)，但该技巧为其采样设置一个阈值，当采样超过该阈值时，重新采样，以使得采样点落入阈值范围。减小该阈值会发现，GAN生成的图像多样性降低，质量提高。这个技巧能很好的提高生成图片的质量，但是会降低生成图片的多样性。但是，有些模型不会服从截断（也就是说，使用了截断技巧，但是没有提升产生图片的质量），文章尝试用正交化初始化的方式，解决这个问题，最终找到较好的正则化权重。

文章中同时也对于GAN训练的稳定性做了研究，首先他们发现了生成器G的第一层的最大奇异值，会在发生模式崩塌的情况下，剧烈变化并且爆炸增长。但是限制这一层权重的增长，以限定其最大奇异值的变化，并没有保证获得模型的稳定，因而他们认为第一层最大奇异值的变化，是模式崩塌发生的征兆，而不是原因。
文章近一步研究了分辨器的模式崩塌的情况，发现在模式崩塌发生的时候，其权重的奇异值会发现跳跃，同时文章尝试了很多正则化的方法来防止模式崩塌的现象，发现采用了这些正则化的方法，可能会防止模式崩塌，但是这是以生成样本的质量为代价的。因而文章给出的建议是，在现有的技术情况下，可以考虑松弛防止模式崩塌的约束，或者就让模式崩塌发生，从而换取更好的模型生成的图片的质量。