[论文解读] When, Why, and Which Pretrained GANs Are Useful?

Timofey Grigoryev, Andrey Voynov+1 more|arXiv (Cornell University)|Feb 17, 2022

Advanced Neural Network Applications被引用 5

一句话总结

本文研究了预训练 GAN 在微调中何时、为何以及哪些模型有效，表明预训练生成器可提升模式覆盖度，而判别器则提供引导梯度场，从而提升多样性。研究发现，尽管图像质量较低，ImageNet 预训练 GAN 仍是微调的最佳起点，并提出一种基于召回率的度量方法，可自动选择最优检查点。

ABSTRACT

The literature has proposed several methods to finetune pretrained GANs on new datasets, which typically results in higher performance compared to training from scratch, especially in the limited-data regime. However, despite the apparent empirical benefits of GAN pretraining, its inner mechanisms were not analyzed in-depth, and understanding of its role is not entirely clear. Moreover, the essential practical details, e.g., selecting a proper pretrained GAN checkpoint, currently do not have rigorous grounding and are typically determined by trial and error. This work aims to dissect the process of GAN finetuning. First, we show that initializing the GAN training process by a pretrained checkpoint primarily affects the model's coverage rather than the fidelity of individual samples. Second, we explicitly describe how pretrained generators and discriminators contribute to the finetuning process and explain the previous evidence on the importance of pretraining both of them. Finally, as an immediate practical benefit of our analysis, we describe a simple recipe to choose an appropriate GAN checkpoint that is the most suitable for finetuning to a particular target task. Importantly, for most of the target tasks, Imagenet-pretrained GAN, despite having poor visual quality, appears to be an excellent starting point for finetuning, resembling the typical pretraining scenario of discriminative computer vision models.

研究动机与目标

• 理解使用预训练模型进行 GAN 微调的成功机制，尤其在低数据场景下的表现。
• 阐明预训练生成器与判别器在提升模型覆盖度与泛化能力方面所起的独立作用。
• 解决当前缺乏严谨标准来选择预训练 GAN 检查点的问题，目前多依赖试错法。
• 提供一种实用且自动化的方案，以针对特定目标数据集选择最合适的预训练 GAN 检查点。
• 证明尽管视觉质量较差，ImageNet 预训练 GAN 仍是微调的强有力起点，与判别模型预训练实践相一致。

提出的方法

• 通过合成数据与真实数据实验，分析预训练 GAN 检查点对覆盖度与生成质量的影响。
• 分解微调过程中预训练生成器（模式覆盖）与判别器（梯度场引导）的贡献。
• 提出一种基于 FID、KID、精确率与召回率的代理度量，用于评估迁移学习中源数据集的相似性。
• 利用预训练模型生成的样本作为真实源数据的实用替代方案，用于度量计算。
• 通过比较各度量在多个目标数据集上识别最优检查点（FID 最低）的能力，评估其预测性能。
• 在 StyleGAN2 上验证结果，使用多样化的预训练检查点，包括基于 ImageNet 的模型。

实验结果

研究问题

• RQ1 使用预训练检查点初始化 GAN 训练，如何影响模型覆盖度与样本保真度？
• RQ2 预训练生成器与判别器在提升微调性能方面分别发挥哪些具体作用？
• RQ3 为何在 GAN 微调中同时初始化生成器与判别器是有益的？
• RQ4 召回率或其他分布度量能否可靠预测目标数据集的最佳预训练 GAN 检查点？
• RQ5 尽管生成样本质量较低，ImageNet 预训练 GAN 是否仍是微调的强效起点？

主要发现

• 预训练 GAN 检查点主要提升模型覆盖度，而非单个生成样本的保真度。
• 预训练生成器通过覆盖目标分布的多个模式，确保初始多样性；而预训练判别器则提供引导梯度场，引导样本朝向正确模式。
• 同时初始化生成器与判别器可提升模式覆盖度并降低模式崩溃风险，解释了全模型预训练在实践中取得成功的原因。
• 对于大多数目标任务，尽管生成样本视觉质量较差，ImageNet 预训练 GAN 仍是微调的最优起点。
• 召回率是微调成功结果的可靠预测指标，可指导最优预训练检查点的自动选择，其表现优于 FID 与精确率。
• 在 StyleGAN2 上的实验表明，基于 ImageNet 的预训练可实现更低的 FID 分数（如 L. Bedroom 数据集上 2.56 vs. 2.97）以及更优的图像重建性能（LPIPS 与 F-error 更低），证实其实际优越性。