[论文解读] Training GANs with Stronger Augmentations via Contrastive Discriminator

Jongheon Jeong, Jinwoo Shin|arXiv (Cornell University)|Mar 17, 2021

Generative Adversarial Networks and Image Synthesis参考文献 58被引用 23

一句话总结

本文提出 ContraD，一种对比判别器，使 GAN 能够在不引起训练不稳定性的情况下使用更强的数据增强，显著提升 FID 和 IS 分数。通过对比表示学习对齐真实样本与生成样本，ContraD 提升了判别器的泛化能力，并实现了通过潜在空间采样进行无监督条件生成。

ABSTRACT

Recent works in Generative Adversarial Networks (GANs) are actively revisiting various data augmentation techniques as an effective way to prevent discriminator overfitting. It is still unclear, however, that which augmentations could actually improve GANs, and in particular, how to apply a wider range of augmentations in training. In this paper, we propose a novel way to address these questions by incorporating a recent contrastive representation learning scheme into the GAN discriminator, coined ContraD. This fusion enables the discriminators to work with much stronger augmentations without increasing their training instability, thereby preventing the discriminator overfitting issue in GANs more effectively. Even better, we observe that the contrastive learning itself also benefits from our GAN training, i.e., by maintaining discriminative features between real and fake samples, suggesting a strong coherence between the two worlds: good contrastive representations are also good for GAN discriminators, and vice versa. Our experimental results show that GANs with ContraD consistently improve FID and IS compared to other recent techniques incorporating data augmentations, still maintaining highly discriminative features in the discriminator in terms of the linear evaluation. Finally, as a byproduct, we also show that our GANs trained in an unsupervised manner (without labels) can induce many conditional generative models via a simple latent sampling, leveraging the learned features of ContraD. Code is available at this https URL.

研究动机与目标

• 解决因数据增强有限而导致 GAN 判别器过拟合的问题。
• 探究在训练稳定的情况下，更强的增强是否能提升 GAN 性能。
• 将对比表示学习整合到 GAN 判别器中，以提升特征可分性。
• 研究对比学习与 GAN 训练之间的相互促进关系。
• 利用学习到的特征实现无监督 GAN 的条件生成。

提出的方法

• 将对比学习目标整合到 GAN 判别器中，以学习在数据增强下保持不变的表示。
• 在训练过程中对真实图像和生成图像同时应用强增强（例如，随机裁剪、颜色抖动）。
• 使用动量编码器稳定对比学习过程，类似于 MoCo 或 SimCLR。
• 训练判别器以区分真实与生成样本，同时最大化同一样本不同增强视图之间的对比相似性。
• 通过加权组合方式联合优化 GAN 损失与对比损失。
• 利用最终的判别器特征进行下游任务，包括通过潜在空间采样实现的条件生成。

实验结果

研究问题

• RQ1 在不增加不稳定性的情况下，能否有效使用更强的数据增强进行 GAN 训练？
• RQ2 将对比表示学习整合到 GAN 判别器中是否能提升其泛化能力？
• RQ3 在特征质量方面，对比学习与 GAN 训练之间是否存在相互促进作用？
• RQ4 使用 ContraD 的无监督 GAN 是否能通过潜在空间采样生成条件样本而无需标签？
• RQ5 ContraD 与其它集成增强的 GAN 方法相比，在 FID 和 IS 分数上表现如何？

主要发现

• 与近期基于增强的 GAN 方法相比，采用 ContraD 的 GAN 在 FID 分数上始终更低，IS 分数更高。
• 通过线性评估协议验证，使用 ContraD 训练的判别器保持了高度可分的特征。
• 由于判别器中对比学习的稳定作用，更强的增强策略得以有效利用。
• 对比目标提升了学习表示的质量，从而进一步增强了 GAN 的性能。
• 使用 ContraD 训练的无监督 GAN 可通过潜在空间采样生成条件样本，充分利用学习到的特征。
• 该方法展现出对比表示学习与 GAN 训练之间强烈的协同作用：更优的表示带来更优的 GAN，反之亦然。