[论文解读] Semi-supervised Learning with GANs: Manifold Invariance with Improved Inference

Abhishek Kumar, Prasanna Sattigeri+1 more|arXiv (Cornell University)|May 24, 2017

Generative Adversarial Networks and Image Synthesis参考文献 25被引用 83

一句话总结

本论文使用 GAN 生成的流形切向量来将不变性注入半监督学习的分类器中，并引入增强型编码器（Augmented-BiGAN）以降低类别切换，同时在少标注样本时展现出更好的性能。

ABSTRACT

Semi-supervised learning methods using Generative Adversarial Networks (GANs) have shown promising empirical success recently. Most of these methods use a shared discriminator/classifier which discriminates real examples from fake while also predicting the class label. Motivated by the ability of the GANs generator to capture the data manifold well, we propose to estimate the tangent space to the data manifold using GANs and employ it to inject invariances into the classifier. In the process, we propose enhancements over existing methods for learning the inverse mapping (i.e., the encoder) which greatly improves in terms of semantic similarity of the reconstructed sample with the input sample. We observe considerable empirical gains in semi-supervised learning over baselines, particularly in the cases when the number of labeled examples is low. We also provide insights into how fake examples influence the semi-supervised learning procedure.

研究动机与目标

• 利用 GAN 的数据流形来在分类器中注入不变性以提升半监督学习的效果。
• 开发一个编码器–生成器–判别器的训练框架，能够在数据空间与潜在空间之间可靠映射并恢复语义相近的重构。
• 通过 GANs 估计数据流形的主导切向方向以对分类器的行为进行正则化。
• 提出 Augmented-BiGAN，以减少重构样本中的类别切换并改善编码器的训练。
• 提供关于假样本如何影响基于 GAN 的半监督学习的经验性见解。

提出的方法

• 将 GANs 建模为生成器 g: Z -> X，并通过编码器 h 的雅可比矩阵 J_h(x) 来估计切向空间 T_xM，利用 J_x h 获得主导切向方向。
• 使用 BiGAN 的特征匹配损失，将逆映射（编码器 h）与生成器联合训练，以改善 x 和 g(h(x)) 的语义相似性。
• 通过在判别器的假样本集合中加入成对的 (h(x), g(h(x))) 来构建 Augmented-BiGAN，以进一步降低类别切换。
• 通过学习低维非线性映射 p 与 p-bar 以近似 h 的切向量，估计少量的主导切向量（d_p 方向），实现实用的切向量估计。
• 利用 Tangent Propagation（TangentProp）及基于雅可比的正则化，将基于切向量的不变性注入分类器。
• 用带有真实带标签数据和未标记/假数据的半监督判别器进行训练，为生成器使用特征匹配以稳定学习。

实验结果

研究问题

• RQ1 GANs 是否能够可靠地估计局部数据流形的切向量以为分类器提供不变性信息？
• RQ2 学习一个将真实图像映射到潜在空间的编码器是否能提高重构的语义一致性（x 与 g(h(x))？）
• RQ3 通过添加额外的假样本配对监督（Augmented-BiGAN）是否能降低重构中的类别切换？
• RQ4 基于切向量的正则化（TangentProp 及雅可比范数惩罚）是否在半监督 GAN 中提升性能，尤其是在标注数据有限的情况下？

主要发现

• 使用生成器推导的切向方向来注入不变性，在半监督学习中取得显著提升，尤其是在少量标注样本的 SVHN 上。
• Augmented-BiGAN 在输入与重构之间实现更好的语义对齐，减少类别切换。
• 生成器的特征匹配损失稳定训练并提高重构的语义相似性（x 与 g(h(x))）。
• 基于切向向量的正则化（TangentProp 和 Jacobian-norm）通过在流形方向上强制不变性来提升分类器鲁棒性。
• 经验结果显示在 SVHN 上比 CIFAR-10 有更强的增益，若切向量估计更准确，CIFAR-10 也可能获得提升。