[论文解读] Semi-Supervised Learning with Context-Conditional Generative Adversarial Networks

Emily Denton, Sam Gross+1 more|arXiv (Cornell University)|Nov 19, 2016

Generative Adversarial Networks and Image Synthesis参考文献 26被引用 93

一句话总结

本文提出了一种基于上下文条件GAN的半监督学习方法，通过图像修复（in-painting）重建缺失的图像块。通过训练生成器填补随机孔洞，并训练判别器区分真实图像与生成图像，该方法对监督学习进行正则化，从而实现对大型VGG风格网络的有效训练，并在STL-10和PASCAL数据集上取得了最先进或具有竞争力的性能。

ABSTRACT

We introduce a simple semi-supervised learning approach for images based on in-painting using an adversarial loss. Images with random patches removed are presented to a generator whose task is to fill in the hole, based on the surrounding pixels. The in-painted images are then presented to a discriminator network that judges if they are real (unaltered training images) or not. This task acts as a regularizer for standard supervised training of the discriminator. Using our approach we are able to directly train large VGG-style networks in a semi-supervised fashion. We evaluate on STL-10 and PASCAL datasets, where our approach obtains performance comparable or superior to existing methods.

研究动机与目标

• 开发一种简单但有效的图像分类半监督学习框架，利用对抗训练。
• 通过图像修复任务利用未标记数据作为自监督正则化器。
• 实现在半监督设置下端到端训练深度VGG风格网络。
• 通过利用图像中的结构一致性，在标签数据有限的情况下提升泛化能力和性能。

提出的方法

• 训练生成器网络，基于周围上下文预测像素值，以重建图像中的缺失块。
• 将生成器的输出输入判别器，用于将图像分类为真实（原始）或伪造（修复后）。
• 判别器提供的对抗损失在分类头的监督训练过程中提供正则化信号。
• 模型同时优化标签数据上的分类准确率和修复区域的对抗真实性。
• 该方法采用标准的VGG风格架构作为生成器和判别器，支持向更深网络的可扩展性。

实验结果

研究问题

• RQ1 通过条件GAN进行图像修复能否作为半监督图像分类的有效正则化器？
• RQ2 当仅有少量标签样本时，基于上下文条件GAN的方法泛化能力如何？
• RQ3 与标准半监督方法相比，对抗性修复损失是否能在基准数据集上提升性能？
• RQ4 该框架能否有效实现大规模VGG风格网络的半监督训练？

主要发现

• 所提方法在STL-10数据集上的性能与现有最先进方法相当或更优。
• 该方法实现了在半监督设置下对大型VGG风格网络的直接训练，而传统方法难以实现。
• 图像修复任务作为有效的正则化器，即使在标签数据有限的情况下也提升了泛化能力。
• 该模型在PASCAL数据集上表现出色，表明其在不同图像分类基准上的鲁棒性。