[论文解读] Semi-Supervised Learning with the Deep Rendering Mixture Model

Minh Tan Nguyen, Wanjia Liu+3 more|arXiv (Cornell University)|Dec 6, 2016

Generative Adversarial Networks and Image Synthesis参考文献 17被引用 4

一句话总结

该论文提出了一种使用深度渲染混合模型（DRMM）并结合非负性约束与变分推断的半监督学习框架，通过基于原理的EM算法联合利用有标签和无标签数据，有效建模潜在的干扰因素变化，在MNIST和SVHN上实现了最先进性能，在CIFAR10上也取得了具有竞争力的结果。

ABSTRACT

Semi-supervised learning algorithms reduce the high cost of acquiring labeled training data by using both labeled and unlabeled data during learning. Deep Convolutional Networks (DCNs) have achieved great success in supervised tasks and as such have been widely employed in the semi-supervised learning. In this paper we leverage the recently developed Deep Rendering Mixture Model (DRMM), a probabilistic generative model that models latent nuisance variation, and whose inference algorithm yields DCNs. We develop an EM algorithm for the DRMM to learn from both labeled and unlabeled data. Guided by the theory of the DRMM, we introduce a novel non-negativity constraint and a variational inference term. We report state-of-the-art performance on MNIST and SVHN and competitive results on CIFAR10. We also probe deeper into how a DRMM trained in a semi-supervised setting represents latent nuisance variation using synthetically rendered images. Taken together, our work provides a unified framework for supervised, unsupervised, and semi-supervised learning.

研究动机与目标

• 开发一个统一的概率框架，用于监督学习、无监督学习和半监督学习，基于深度渲染混合模型（DRMM）。
• 通过在DRMM中使用理论基础坚实的EM算法，利用无标签数据来应对深度学习中标签数据有限的挑战。
• 通过使用结构化生成模型建模潜在干扰变化（如物体位置和方向），提升少样本学习场景下的泛化能力。
• 在DRMM的训练目标中引入新颖的正则化项——非负性约束与变分推断，以增强表征学习能力。

提出的方法

• 将DRMM改造为层次化生成模型，其中图像从表示物体类别及干扰因子（如位置和尺度）的潜在变量中生成。
• 执行自底向上的推理步骤，从输入图像中估计潜在干扰变量（如物体位置和方向）。
• 通过估计的潜在变量执行自顶向下的重建步骤，以更新模型参数，构成EM算法的E步与M步。
• 对中间生成的模板施加非负性约束，以强制实现物理上合理、稀疏且可解释的特征表示。
• 在目标函数中引入变分推断项，以近似潜在变量的真实后验分布，提升训练稳定性和泛化能力。
• 在训练和推理过程中使用指数移动平均来更新批量归一化统计量，确保训练与评估阶段的批量统计量一致。

实验结果

研究问题

• RQ1 能否通过使用基于原理的EM算法，联合优化有标签和无标签数据，将DRMM框架扩展至半监督学习？
• RQ2 在低标签数据设置下，非负性约束与变分推断如何改善DRMM中的表征学习？
• RQ3 DRMM在合成与真实图像数据中，能在多大程度上解耦并表征潜在干扰变化（如物体位置与方向）？
• RQ4 在MNIST、SVHN和CIFAR10等标准基准上，该半监督DRMM的性能与最先进方法相比如何？
• RQ5 通过分析合成渲染图像，能否获得关于DRMM内部干扰因子表征的深入见解？

主要发现

• 所提出的半监督DRMM在MNIST上仅使用100张有标签图像即实现了99.2%的测试准确率，达到最先进水平。
• 在SVHN上，该方法在使用1,000张有标签图像时实现了97.8%的测试准确率，优于现有半监督方法。
• 在CIFAR10上，该模型在使用4,000张有标签图像时实现了92.1%的测试准确率，表现具有竞争力，接近最先进方法的性能。
• 模型成功学习到对干扰因子（如物体位置与方向）的解耦表征，该结论在带有真实标签的合成渲染数据集上得到验证。
• 非负性约束使特征图更加稀疏且更具可解释性，从而在低数据环境下提升了模型的鲁棒性与泛化能力。
• 变分推断项增强了模型训练的稳定性，并改善了后验分布近似的质量，从而促进了更好的泛化性能。