[论文解读] Self-Supervised GANs with Label Augmentation

Liang Hou, Huawei Shen+2 more|arXiv (Cornell University)|Jun 16, 2021

Generative Adversarial Networks and Image Synthesis参考文献 47被引用 7

一句话总结

该论文提出了一种新型方法——自监督生成对抗网络与标签增强（SSGAN-LA），通过将真实/虚假标签与基于变换的伪标签相结合，统一了生成对抗网络训练与自监督学习，使判别器面对单一的多分类分类任务。经过标签增强的判别器提供了稳定且信息丰富的梯度，防止灾难性遗忘，并使生成器能够收敛至真实数据分布，在CIFAR-10和CIFAR-100数据集上，无论是在全量数据还是有限数据设置下，均实现了SOTA级别的FID和IS得分。

ABSTRACT

Recently, transformation-based self-supervised learning has been applied to generative adversarial networks (GANs) to mitigate catastrophic forgetting in the discriminator by introducing a stationary learning environment. However, the separate self-supervised tasks in existing self-supervised GANs cause a goal inconsistent with generative modeling due to the fact that their self-supervised classifiers are agnostic to the generator distribution. To address this problem, we propose a novel self-supervised GAN that unifies the GAN task with the self-supervised task by augmenting the GAN labels (real or fake) via self-supervision of data transformation. Specifically, the original discriminator and self-supervised classifier are unified into a label-augmented discriminator that predicts the augmented labels to be aware of both the generator distribution and the data distribution under every transformation, and then provide the discrepancy between them to optimize the generator. Theoretically, we prove that the optimal generator could converge to replicate the real data distribution. Empirically, we show that the proposed method significantly outperforms previous self-supervised and data augmentation GANs on both generative modeling and representation learning across benchmark datasets.

研究动机与目标

• 解决由于生成器演化导致的非平稳学习环境所引发的GAN中灾难性遗忘问题。
• 解决现有自监督GAN中目标不一致的问题，即自监督分类器对生成器分布视而不见。
• 将原始GAN目标与自监督任务统一为单一多分类分类框架，避免超参数权衡。
• 在温和假设下，理论上保证最优生成器可复现真实数据分布。
• 在基准数据集上，实证验证其在生成建模与表征学习方面的卓越性能。

提出的方法

• 将原始GAN标签（真实或虚假）与基于变换的伪标签（如旋转、裁剪）相结合，形成多分类标签。
• 训练单一的标签增强判别器，以预测输入的真实/虚假标签及其所应用的变换。
• 将判别器的损失定义为在组合标签空间（真实/虚假 + 变换）上的多分类交叉熵。
• 利用最优判别器捕捉的每种变换下真实与生成数据分布之间的差异，指导生成器训练。
• 通过判别器的反馈，确保生成器最小化真实与生成数据分布之间的反转Kullback–Leibler散度。
• 消除对独立自监督与GAN目标的需求，避免损失加权的超参数调优。

实验结果

研究问题

• RQ1 将GAN与自监督学习结合的统一多分类分类任务，能否稳定训练并防止判别器中的灾难性遗忘？
• RQ2 一种同时感知生成器与变换下数据分布的标签增强判别器，能否为生成器提供更具信息量的梯度？
• RQ3 所提方法是否能在无需额外损失加权超参数调优的情况下，实现对真实数据分布的理论收敛？
• RQ4 在FID、IS和表征学习方面，与现有自监督GAN及数据增强技术相比，该方法表现如何？
• RQ5 该方法是否能在不同数据设置（包括低数据量场景）下实现泛化？

主要发现

• 在CIFAR-10和CIFAR-100数据集上，SSGAN-LA在全量与有限数据设置下均实现了SOTA级别的FID与IS得分，采用BigGAN主干网络。
• 在CIFAR-10全量数据（100%）设置下，SSGAN-LA的FID为8.05，IS为9.30，优于先前SOTA方法（BigGAN + DiffAugment）的FID 8.70与IS 9.16。
• 在CIFAR-10仅20%数据设置下，SSGAN-LA将FID从14.04降低至11.16，IS从8.65提升至8.84，展现出更优的数据效率。
• 在CIFAR-100仅10%数据设置下，SSGAN-LA的FID为23.17，IS为9.81，显著优于基线FID 33.70与IS 8.38。
• 由于学习任务更复杂且统一，标签增强判别器比标准判别器更不易过拟合。
• 理论分析证实，在温和且易于满足的假设下，最优生成器可收敛至真实数据分布。