百度飞桨论文复现营:stargan v2论文解读
cousnecs 发布于2020-08 浏览:2347 回复:1
0
收藏
最后编辑于2022-04

百度飞桨论文复现营:https://aistudio.baidu.com/aistudio/education/group/info/1340

百度飞桨论文复现营论文解读,把论文的目标,解读得非常明确。把实现目标的方法也整理得很清晰。源码结构也分析得很到位。百度深度学习平台,飞桨PaddlePaddle符合中国人的习惯,使用非常方便,即使最难的反向传播使用起来也变得易如反掌。值得大力推广。AI Studio课程平台,内容真材实货,也是动手实践的好平台。推荐大家使用百度深度学习平台进行学习深度学习。

论文解读笔记

论文:StarGANv2: Diverse Image Synthesis for Multiple Domains

多个领域的多样化图像合成

目标:生成图像多样化,多个域上具有可扩展性

作者动机:图像多领域,多样性,而StarGan缺乏多样性。

论文方法:

网络结构:

1、StarGANv2:使用所提出的domain-specific style code替换域标签,前者可表示特定领域的各种风格样式。引入两个模块,一个映射网络mapping network和一个样式编码器style encoder。映射网络学习将随机高斯噪声转换为样式码(style code),而编码器则学习从给定的参考图像中提取样式码。两个模块都具有多个输出分支,每个分支都提供特定域的样式码,训练时将选取其中对应domain的一个。

2、生成器Generator:将输入图像x转换为G(x,s),s为样式码style code,可以由映射网络F或者样式编码器E提供。使用adaptive instance normalization (AdaIN) 引入s。删除了上采样residual blocks中的所有shortcut,并使用基于adaptive wing based heatmap添加了跳跃连接。

3、映射网络Mapping network:网络包括k个输出分支,表示有k个域,给定隐变量z和对应的域y,生成样式码=()

4、样式编码器Style encoder:网络包括k个输出分支,表示有k个域,给定图像x及其对应的域y,编码器E提取x的样式码=。D代表了样式码S的维度。

5、鉴别器Discriminator:网络包括k个输出分支,表示有k个域,每个分支都学习一个二元分类,确定图像x是域y的真实图像还是G生成的伪图像,因此输出维度D被设定为1,作为real/fake的分类。

训练目标

1、对抗目标adversarial loss

2、风格多样性Style diversification

3、风格多样性Style diversification

4、保留源图特性Preserving source characteristics 

5、总体目标

量化评价

1、Frechétinception distance (FID)衡量真实图像和生成图像之间的差异性

通过加载经过预训练的Inception v3模型,使用最后一个池化层的激活函数输出值作为特征向量,计算出真实图像和生成图像在特征层面的距离。FID 越低,图像质量越好;反之,得分越高,质量越差。

2、Learned perceptual image patch similarity (LPIPS) 衡量生成图像的多样性

计算生成图像从预训练的AlexNet中提取的特征之间的距离LPIPS越大,生成图像多样性越高

 

 

收藏
点赞
0
个赞
共1条回复 最后由用户已被禁言回复于2022-04
#2wangwei8638回复于2020-08

学习了

0
TOP
切换版块