[论文解读] Self-labeled Conditional GANs

Mehdi Noroozi|arXiv (Cornell University)|Dec 3, 2020

Generative Adversarial Networks and Image Synthesis参考文献 31被引用 7

一句话总结

本文提出自标注条件生成对抗网络（slcGANs），一种完全无监督的框架，通过联合训练生成器、判别器和聚类网络从数据中学习伪标签，实现在无人工标注标签情况下的条件图像生成。该方法在ImageNet和LSUN数据集上优于无条件GAN，在CIFAR10和CIFAR100上的FID指标也超过使用人工标注训练的类别条件GAN，同时在CIFAR100聚类任务上达到最先进性能。

ABSTRACT

This paper introduces a novel and fully unsupervised framework for conditional GAN training in which labels are automatically obtained from data. We incorporate a clustering network into the standard conditional GAN framework that plays against the discriminator. With the generator, it aims to find a shared structured mapping for associating pseudo-labels with the real and fake images. Our generator outperforms unconditional GANs in terms of FID with significant margins on large scale datasets like ImageNet and LSUN. It also outperforms class conditional GANs trained on human labels on CIFAR10 and CIFAR100 where fine-grained annotations or a large number of samples per class are not available. Additionally, our clustering network exceeds the state-of-the-art on CIFAR100 clustering.

研究动机与目标

• 开发一种完全无监督的条件GAN训练框架，消除对人工标注标签的依赖。
• 通过从数据中学习细粒度伪标签，提升ImageNet和LSUN等大规模数据集上的图像生成质量。
• 构建一个聚类网络，无监督地学习图像数据的有意义且解耦的表示。
• 证明对抗训练结合聚类网络可提供强于传统聚类方法的监督信号。
• 证明从数据中衍生的伪标签在细粒度或高变化性场景下可带来优于人工标注标签的图像生成效果。

提出的方法

• 将聚类网络集成到条件GAN框架中，为真实图像分配K维概率向量（伪标签）。
• 训练生成器根据噪声向量和伪标签生成图像，同时判别器区分真实（图像，伪标签）对与虚假对。
• 通过对抗训练联合优化生成器、判别器和聚类网络，形成三人最小最大博弈。
• 通过正则化项在聚类网络输出上施加均匀先验，防止伪标签变得无信息的退化解。
• 应用多视图聚类损失，强制同一图像不同增强视图所分配的伪标签保持一致。
• 在条件项与生成图像之间施加依赖关系，防止模式崩溃或标签隐藏。

实验结果

研究问题

• RQ1 能否通过从数据中学习伪标签，实现无需人工标注标签的条件GAN有效训练？
• RQ2 从数据中学习细粒度伪标签是否能带来优于使用粗粒度人工标注标签的图像生成性能？
• RQ3 在GAN框架内训练的聚类网络能否在无监督图像聚类任务中达到最先进性能？
• RQ4 与k-means等传统聚类方法相比，对抗训练信号在聚类质量与分布方面表现如何？
• RQ5 辅助的多视图聚类损失是否显著提升聚类网络的鲁棒性与性能？

主要发现

• 所提出的slcGAN框架在ImageNet上的Fréchet Inception Distance（FID）为27.4，在LSUN上为19.5，显著优于无条件GAN。
• 在CIFAR10和CIFAR100上，slcGAN分别取得10.8和18.6的FID分数，超过使用人工标注训练的类别条件GAN。
• 聚类网络在CIFAR100上达到72.1%的top-1聚类准确率，较之前最先进水平提升2.5个百分点。
• 消融实验表明，移除多视图聚类损失会使CIFAR10线性评估准确率下降5%，证实其有效性。
• 所提方法的聚类规模直方图覆盖更广范围，表明其分布适应性更强，且对均匀聚类规模的偏差更小。
• 定性结果表明，生成器能够基于同一伪标签生成多样化且高质量的样本，并可重建给定图像的多种风格一致的变体。