[论文解读] Self-Supervised GANs via Auxiliary Rotation Loss

Ting Chen, Xiaohua Zhai+3 more|arXiv (Cornell University)|Nov 27, 2018

Generative Adversarial Networks and Image Synthesis参考文献 45被引用 7

一句话总结

该论文提出一种自监督 GAN，通过引入辅助旋转预测损失，在无需标注数据的情况下提升了判别器的稳定性与表征学习能力。通过训练判别器预测真实图像与生成图像的旋转角度，该模型在无条件 ImageNet 图像生成任务中实现了 SOTA 的 FID 得分 23.4，且在相同条件下达到与条件 GAN 相当的性能。

ABSTRACT

Conditional GANs are at the forefront of natural image synthesis. The main drawback of such models is the necessity for labeled data. In this work we exploit two popular unsupervised learning techniques, adversarial training and self-supervision, and take a step towards bridging the gap between conditional and unconditional GANs. In particular, we allow the networks to collaborate on the task of representation learning, while being adversarial with respect to the classic GAN game. The role of self-supervision is to encourage the discriminator to learn meaningful feature representations which are not forgotten during training. We test empirically both the quality of the learned image representations, and the quality of the synthesized images. Under the same conditions, the self-supervised GAN attains a similar performance to state-of-the-art conditional counterparts. Finally, we show that this approach to fully unsupervised learning can be scaled to attain an FID of 23.4 on unconditional ImageNet generation.

研究动机与目标

• 解决 GAN 训练过程中判别器遗忘的问题，以在非平稳环境中稳定学习。
• 在不依赖标注数据的前提下，弥合无条件 GAN 与条件 GAN 之间的性能差距。
• 通过旋转预测的自监督预训练，改进判别器的特征表征能力。
• 实现在 ImageNet 等复杂数据集上的高质量、完全无监督图像生成。
• 证明自监督可稳定对抗训练并提升生成性能，而无需任何监督信号。

提出的方法

• 引入一种辅助旋转预测损失，使判别器对输入图像的旋转角度（0°, 90°, 180°, 270°）进行分类。
• 仅在训练过程中对真实图像应用旋转损失，而主 GAN 损失仍用于真实与生成图像的分类任务。
• 通过协作方式联合训练生成器与判别器以实现表征学习，同时在标准 GAN 游戏中保持竞争关系。
• 对对抗任务与自监督任务使用相同的判别器架构，共享特征表示。
• 利用自监督信号稳定判别器的内部表征，减少灾难性遗忘。
• 通过自调节、归一化与截断等技术扩展模型，实现高保真度的无条件 ImageNet 图像生成。

实验结果

研究问题

• RQ1 通过旋转预测实现的自监督学习是否能稳定 GAN 训练并减少判别器遗忘？
• RQ2 在无监督设置下，带有辅助自监督的判别器在多大程度上可达到与条件 GAN 相当的性能？
• RQ3 基于旋转的自监督是否能提升所学习图像表征的质量，以利于下游任务？
• RQ4 该方法是否能在不使用任何标注数据的前提下，实现 ImageNet 上无条件图像生成的 SOTA 性能？
• RQ5 生成器与判别器在表征学习中的协作如何影响生成质量与训练稳定性？

主要发现

• 该自监督 GAN 在无条件 ImageNet 图像生成任务中实现了 23.4 的 Fréchet Inception Distance（FID）得分，是完全无监督模型的重要突破。
• 在相同训练条件下，该模型无需任何标注数据即可达到与当前最优条件 GAN 相当的性能。
• 由于引入了辅助旋转损失，判别器学习到了更稳定且有意义的特征表征，从而减少了灾难性遗忘。
• 自监督信号通过促使判别器学习解耦且语义上有用的特征，提升了生成图像的质量。
• 该方法在大规模数据集上具有良好的可扩展性，即使在无类别标签或条件监督的情况下也能取得具有竞争力的结果。
• 该方法证明，自监督可有效替代标签在稳定 GAN 训练与提升生成性能方面的作用。