[论文解读] On Leveraging Pretrained GANs for Generation with Limited Data

Miaoyun Zhao, Yulai Cong+1 more|arXiv (Cornell University)|Feb 26, 2020

Generative Adversarial Networks and Image Synthesis参考文献 63被引用 50

一句话总结

本论文将来自在大数据集上预训练 GAN 的低层滤波器迁移到数据稀缺领域，对其进行冻结，并添加一个小型目标特定网络与自适应滤波调制（AdaFM），以在数据有限时改进生成，与基线相比获得更好的 FID 得分。

ABSTRACT

Recent work has shown generative adversarial networks (GANs) can generate highly realistic images, that are often indistinguishable (by humans) from real images. Most images so generated are not contained in the training dataset, suggesting potential for augmenting training sets with GAN-generated data. While this scenario is of particular relevance when there are limited data available, there is still the issue of training the GAN itself based on that limited data. To facilitate this, we leverage existing GAN models pretrained on large-scale datasets (like ImageNet) to introduce additional knowledge (which may not exist within the limited data), following the concept of transfer learning. Demonstrated by natural-image generation, we reveal that low-level filters (those close to observations) of both the generator and discriminator of pretrained GANs can be transferred to facilitate generation in a perceptually-distinct target domain with limited training data. To further adapt the transferred filters to the target domain, we propose adaptive filter modulation (AdaFM). An extensive set of experiments is presented to demonstrate the effectiveness of the proposed techniques on generation with limited data.

研究动机与目标

• 激发将来自预训练 GAN 的信息迁移以在数据有限的目标领域促进生成。
• 确定在跨领域的 GAN 中通常可迁移的低层滤波器。
• 提出一个紧凑的领域特定头和 AdaFM，以将迁移的滤波器适配到目标域。
• 在多个小型数据集上展示使用迁移滤波器和 AdaFM 时生成性能的提升。

提出的方法

• 重用来自预训练 GAN（在 ImageNet 上的 GP-GAN） 的低级生成器和判别器滤波器作为通用部分。
• 将高级别的领域特定部分替换为一个小型定制网络（SmallHead），实现风格混合。
• 引入自适应滤波调制（AdaFM），通过可学习的 gamma 和 beta 参数对迁移的滤波器进行调制。
• 在有限的目标数据上训练领域特定头和 AdaFM 的组件，同时保持通用部分冻结。
• 使用 Fréchet Inception Distance（FID）在多个目标数据集上进行评估，并与 TransferGAN 和 Scratch 基线进行比较。

实验结果

研究问题

• RQ1 来自预训练 GAN 的低层滤波器是否能够在感知上与目标域显著不同且数据有限的情况下泛化？
• RQ2 冻结迁移的低层滤波器并配合紧凑的领域特定头是否在数据稀缺下改善生成的稳定性和质量？
• RQ3 AdaFM 通过使迁移的滤波器适应目标域，是否带来可衡量的增益？
• RQ4 与现有的迁移方法（如 TransferGAN）以及在有限数据上从零开始训练相比，提出的方法表现如何？

主要发现

• 从预训练 GAN 转移低层生成器/判别器滤波器，在数据有限的目标域上提高生成质量和训练效率。
• 一个紧凑的定制高层网络（SmallHead）有助于减少过拟合并实现风格混合。
• AdaFM 通过自适应调制迁移的滤波器以适应目标域，进一步提升性能。
• 在 CelebA、Flowers、Cars、Cathedral 上，所提出的方法在 60,000 次迭代后获得的 FID 得分低于 TransferGAN 和 Scratch。
• 在极少量数据（1K 和 25 个样本）上方法保持稳定，并显示出 AdaFM 与所设计的体系结构的显著增益。