[论文解读] Semi-supervised Conditional GANs

Kumar Sricharan, Raja Bala+4 more|arXiv (Cornell University)|Aug 19, 2017

Generative Adversarial Networks and Image Synthesis参考文献 6被引用 41

一句话总结

本文提出了一种新型框架——半监督条件生成对抗网络（SS-GAN），通过使用两个堆叠的判别器，联合建模边缘数据分布（基于有标签和无标签数据）与条件属性分布（仅基于有标签数据），显著提升了半监督条件生成的性能。SS-GAN 在 MNIST、CelebA 和 CIFAR-10 数据集上均优于现有方法（如 AC-GAN、SC-GAN 和 SA-GAN），即使每类仅使用一个有标签样本，也能实现接近全监督的性能。

ABSTRACT

We introduce a new model for building conditional generative models in a semi-supervised setting to conditionally generate data given attributes by adapting the GAN framework. The proposed semi-supervised GAN (SS-GAN) model uses a pair of stacked discriminators to learn the marginal distribution of the data, and the conditional distribution of the attributes given the data respectively. In the semi-supervised setting, the marginal distribution (which is often harder to learn) is learned from the labeled + unlabeled data, and the conditional distribution is learned purely from the labeled data. Our experimental results demonstrate that this model performs significantly better compared to existing semi-supervised conditional GAN models.

研究动机与目标

• 为解决在仅有少量数据被标注的半监督设定下，条件生成建模缺乏有效方法的问题。
• 通过解耦边缘数据分布与条件属性分布的学习，提升模型的泛化能力和样本质量。
• 利用无标签数据学习边缘分布，同时保留标签信息以支持条件生成。
• 在极少量有标签数据下，实现接近全监督模型的性能。

提出的方法

• 该模型采用两个堆叠的判别器：一个边缘判别器（D_u）利用全部数据（有标签 + 无标签）评估真实图像与生成图像；一个条件判别器（D_s）仅使用有标签数据，基于图像评估真实与生成的属性。
• 生成器被训练为根据属性生成样本，对抗损失同时应用于联合（x,y）对和条件属性重建。
• 将 D_u 的中间特征输入 D_s，确保 D_s 基于更广泛的数据分布学习判别性特征，从而减少对有标签样本的过拟合。
• 训练目标结合了两个判别器的对抗损失，其中 D_s 使用交叉熵损失从生成图像中重建属性。
• 该框架在有限有标签数据条件下具备理论收敛性，确保在半监督设置下的稳定性。
• 该方法应用于 MNIST、CelebA 和 CIFAR-10，消融研究对比了 AC-GAN、SC-GAN 和 SA-GAN。

实验结果

研究问题

• RQ1 半监督条件生成对抗网络框架能否有效利用无标签数据以提升条件图像生成性能？
• RQ2 解耦边缘分布与条件分布的学习如何影响模型性能与泛化能力？
• RQ3 为何 SS-GAN 的性能优于 SA-GAN（后者也采用堆叠判别器架构，但训练目标不同）？
• RQ4 在极少量有标签数据下，SS-GAN 能在多大程度上匹配全监督模型的性能？

主要发现

• 在 MNIST 数据集上，SS-GAN 仅使用每类一个有标签样本，即实现了 0.299 的分类预测误差，优于 SA-GAN（0.468）和 SC-GAN（0.355）。
• 在 CIFAR-10 上，SS-GAN 的重建误差为 0.061，显著低于 SA-GAN（0.173）和 SC-GAN（0.213），且接近全监督 C-GAN 的 0.041。
• 视觉评估显示，SS-GAN 生成的样本极少出现模式崩溃且保真度高，而 AC-GAN、SC-GAN 和 SA-GAN 均表现出严重的模式崩溃。
• 在 CIFAR-10 上，SS-GAN 的样本多样性得分为 6.54e-06，显著高于 SC-GAN（0.999），并与 C-GAN 和 AC-GAN 相当。
• 在 CIFAR-10 上，SS-GAN 的判别器特征误差为 0.891，优于 SA-GAN（0.874）和 SC-GAN（0.870），并接近全监督 C-GAN 的 0.874。
• 该模型展现出强大的泛化能力，SS-GAN 在 CIFAR-10 上的性能比其他任何半监督变体更接近全监督基线。