[论文解读] Semi-supervised learning based on generative adversarial network: a comparison between good GAN and bad GAN approach

Wenyuan Li, Zichen Wang+4 more|arXiv (Cornell University)|May 16, 2019

Generative Adversarial Networks and Image Synthesis被引用 2

一句话总结

本文比较了两种基于 GAN 的半监督学习方法——Bad GAN（利用数据补集生成的不真实样本）与 Triple GAN（利用高质量生成样本）——以评估其在图像生成与分类任务中的性能。研究揭示了两种方法在样本质量与对标注数据敏感性方面的显著差异，为未来 GAN 基于半监督学习系统的设计提供了洞见。

ABSTRACT

Recently, semi-supervised learning methods based on generative adversarial networks (GANs) have received much attention. Among them, two distinct approaches have achieved competitive results on a variety of benchmark datasets. Bad GAN learns a classifier with unrealistic samples distributed on the complement of the support of the input data. Conversely, Triple GAN consists of a three-player game that tries to leverage good generated samples to boost classification results. In this paper, we perform a comprehensive comparison of these two approaches on different benchmark datasets. We demonstrate their different properties on image generation, and sensitivity to the amount of labeled data provided. By comprehensively comparing these two methods, we hope to shed light on the future of GAN-based semi-supervised learning.

研究动机与目标

• 评估并对比 Bad GAN 与 Triple GAN 在半监督学习设置下的性能。
• 分析每种方法生成样本的方式及其对分类准确率的影响。
• 研究两种方法在不同数量标注训练数据下的敏感性。
• 理解基于 GAN 的半监督学习中样本真实度与分类性能之间的权衡。

提出的方法

• 本研究实现 Bad GAN，其通过输入数据分布的补集生成样本进行分类器训练。
• 采用 Triple GAN 作为包含生成器、分类器与判别器的三方博弈，旨在通过逼真合成样本提升分类性能。
• 在多个基准数据集上，使用标准图像分类与生成指标评估两种方法。
• 比较重点聚焦于图像生成质量、分类器准确率以及低标注率下的鲁棒性。
• 对两种模型进行一致的超参数调优，以确保公平比较。
• 通过在不同标注数据比例下测量分类准确率与生成图像的视觉质量来评估性能。

实验结果

研究问题

• RQ1 在半监督训练过程中，Bad GAN 与 Triple GAN 在生成逼真图像方面的能力有何差异？
• RQ2 标注数据数量对 Bad GAN 与 Triple GAN 性能的影响如何？
• RQ3 与 Triple GAN 使用的高质量样本相比，Bad GAN 使用不真实样本在提升分类准确率方面有何影响？
• RQ4 当标注数据稀缺时，哪种方法表现出更强的鲁棒性？
• RQ5 在这两种基于 GAN 的半监督学习框架中，样本质量与分类性能之间的权衡是什么？

主要发现

• 尽管生成样本不真实，Bad GAN 仍实现了具有竞争力的分类准确率，表明非真实数据仍可提升泛化能力。
• 与 Bad GAN 相比，Triple GAN 生成的图像质量更高，尤其在具有细粒度结构的复杂数据集中表现更优。
• Bad GAN 在标注数据较少时表现出更强的鲁棒性，即使在监督信息有限的情况下也能保持稳定性能。
• 当有足够的标注数据时，Triple GAN 由于使用逼真合成样本，在分类准确率上优于 Bad GAN。
• 随着标注数据增加，两种方法的性能差距逐渐缩小，表明数据量在调节样本质量优势方面起关键作用。
• 两种方法均展现出强大的泛化能力，但其优势具有上下文依赖性：Bad GAN 在低数据场景下表现更优，而 Triple GAN 在高数据场景下表现更优。