[论文解读] Transferring GANs: generating images from limited data

Yaxing Wang, Chenshen Wu+4 more|arXiv (Cornell University)|May 4, 2018

Generative Adversarial Networks and Image Synthesis参考文献 47被引用 21

一句话总结

本文研究了生成对抗网络（GANs）的迁移学习，表明使用来自密集、小范围数据集（如LSUN）的预训练模型初始化GAN，可显著加快收敛速度并提升图像质量，尤其在数据稀缺的情况下。关键结果表明，迁移判别器比迁移生成器更为关键，且密集数据集在生成任务中优于像ImageNet这样的多样化数据集。

ABSTRACT

Transferring the knowledge of pretrained networks to new domains by means of finetuning is a widely used practice for applications based on discriminative models. To the best of our knowledge this practice has not been studied within the context of generative deep networks. Therefore, we study domain adaptation applied to image generation with generative adversarial networks. We evaluate several aspects of domain adaptation, including the impact of target domain size, the relative distance between source and target domain, and the initialization of conditional GANs. Our results show that using knowledge from pretrained networks can shorten the convergence time and can significantly improve the quality of the generated images, especially when the target data is limited. We show that these conclusions can also be drawn for conditional GANs even when the pretrained model was trained without conditioning. Our results also suggest that density may be more important than diversity and a dataset with one or few densely sampled classes may be a better source model than more diverse datasets such as ImageNet or Places.

研究动机与目标

• 探究迁移学习——常用于判别模型——是否可有效应用于生成模型，特别是GANs。
• 评估源域特征（如多样性、密度、类别分布）对GAN中迁移性能的影响。
• 确定预训练的无条件GAN是否可成功适配为条件GAN，以提升图像生成质量。
• 分析在条件与无条件GAN中，迁移生成器与判别器的相对重要性。
• 评估在少量标注图像可用的低数据训练场景下，迁移学习的有效性。

提出的方法

• 通过使用预训练权重初始化生成器与判别器，微调在ImageNet、Places、LSUN、CelebA等数据集上训练的预训练GAN。
• 使用FID（Fréchet Inception Distance）和人类评估来衡量在LSUN 10类子集上图像真实感的迁移性能。
• 利用无条件GAN的预训练模型来训练条件GAN（AC-GAN），即使源模型未包含条件信息。
• 在不同目标数据集规模（每类100、1k、10k张图像）下，比较从零开始训练与迁移学习的性能。
• 通过心理物理学实验，让人类受试者判断两幅生成图像（从零开始训练 vs. 预训练）中哪幅更逼真。
• 分析源-目标域距离与类别密度对可迁移性的影响，特别是在低数据场景下。

实验结果

研究问题

• RQ1 在训练数据有限时，能否通过预训练GAN的迁移学习提升图像生成质量与收敛速度？
• RQ2 源数据集的选择（如ImageNet、Places、LSUN、CelebA）如何影响GAN中的迁移性能？
• RQ3 在GAN中，迁移判别器是否比迁移生成器更有益？同时迁移两者是否能获得最佳结果？
• RQ4 即使源模型未经过条件训练，预训练的无条件GAN是否可有效适配为条件GAN？
• RQ5 在GAN中，数据集密度（每类图像数）是否比多样性对可迁移特征更为重要？

主要发现

• 预训练GAN显著缩短训练时间并提升图像质量，尤其在目标数据有限时，表现为更低的FID分数（例如，在LSUN上每类100张图像时，FID为119.1 vs. 162.9）。
• 仅迁移判别器的性能优于仅迁移生成器，同时迁移两个网络可获得最佳结果。
• 尽管ImageNet多样性高，但其作为GAN迁移源时表现较差，原因在于类别密度低；而LSUN因密度更高，表现显著优于ImageNet。
• 人类评估显示，预训练GAN生成的图像更具真实感——在每类1k张图像时，有67%的判断偏好预训练模型，与FID趋势一致。
• 从预训练模型微调的AC-GAN在分类器准确率上表现更优（例如，每类1k张图像时，准确率为65.9% vs. 52.7%）且FID更低，表明分布对齐更佳。
• 本研究发现，对于GAN而言，高类别密度比多样性更为关键，挑战了认为如ImageNet等多样化数据集是最佳选择的假设。