[论文解读] Self-Supervised Generative Adversarial Networks

Ting Chen, Xiaohua Zhai+3 more|arXiv (Cornell University)|Nov 27, 2018

Generative Adversarial Networks and Image Synthesis参考文献 29被引用 15

一句话总结

本文提出一种自监督生成对抗网络（GAN），通过结合对抗训练与自监督，消除对标注数据的需求，从而学习有意义的特征表示。该方法在图像生成任务上的性能与当前最优的条件GAN相当，并在无条件ImageNet生成任务中实现了33的FID分数，展现出强大的无监督学习能力。

ABSTRACT

Conditional GANs are at the forefront of natural image synthesis. The main drawback of such models is the necessity for labelled data. In this work we exploit two popular unsupervised learning techniques, adversarial training and self-supervision, to close the gap between conditional and unconditional GANs. In particular, we allow the networks to collaborate on the task of representation learning, while being adversarial with respect to the classic GAN game. The role of self-supervision is to encourage the discriminator to learn meaningful feature representations which are not forgotten during training. We test empirically both the quality of the learned image representations, and the quality of the synthesized images. Under the same conditions, the self-supervised GAN attains a similar performance to state-of-the-art conditional counterparts. Finally, we show that this approach to fully unsupervised learning can be scaled to attain an FID of 33 on unconditional ImageNet generation.

研究动机与目标

• 通过消除对标注数据的需求，缩小条件GAN与无条件GAN之间的性能差距。
• 通过利用自监督，实现在无监督设置下GAN中的有效表示学习。
• 在完全无监督的训练设置下，保持高质量的图像生成能力。
• 将该方法扩展至大规模数据集（如ImageNet）且无需监督。

提出的方法

• 该模型采用条件GAN框架，但用自监督的预训练任务替代标签监督，以引导表示学习。
• 通过对比学习目标应用自监督，促使判别器学习解耦且有意义的特征。
• 判别器联合训练以执行对抗性判别和自监督表示学习。
• 生成器与判别器进行双重博弈：一种为对抗性博弈，一种为自监督博弈，共享特征学习。
• 该方法使用实例判别作为自监督信号，其中正样本对为同一图像的增强版本。
• 最终模型通过结合对抗性损失与自监督对比损失的联合损失端到端训练。

实验结果

研究问题

• RQ1 自监督学习是否能在不依赖标签的情况下提升GAN中表示的质量？
• RQ2 在完全无监督设置下训练的GAN能否达到当前最优条件GAN的图像质量？
• RQ3 自监督GAN在大规模数据集（如ImageNet）上的可扩展性如何？
• RQ4 自监督是否能防止判别器在对抗训练过程中遗忘有用特征？

主要发现

• 在相同训练条件下，自监督GAN在图像生成质量上与当前最优的条件GAN相当。
• 该模型在无条件ImageNet生成任务中实现了33的FID分数，证明其在完全无监督设置下的强大性能。
• 自监督显著提升了判别器中学习到的特征表示的质量与稳定性。
• 判别器在整个训练过程中保持了有意义的特征表示，避免了特征遗忘。