[论文解读] Semi-Supervised Learning with Deep Generative Models

Diederik P. Kingma, Danilo Jimenez Rezende+2 more|UvA-DARE (University of Amsterdam)|Jun 20, 2014

Generative Adversarial Networks and Image Synthesis参考文献 25被引用 1,521

一句话总结

本文提出了一种用于半监督学习的深度生成模型，通过变分推断联合优化模型与推断参数，实现仅使用少量标注样本即可进行可扩展且准确的分类。该方法通过建模数据密度并解耦类别条件内容与风格可变性，在 SVHN 和 MNIST 等基准数据集上实现了最先进性能。

ABSTRACT

The ever-increasing size of modern data sets combined with the difficulty of obtaining label information has made semi-supervised learning one of the problems of significant practical importance in modern data analysis. We revisit the approach to semi-supervised learning with generative models and develop new models that allow for effective generalisation from small labelled data sets to large unlabelled ones. Generative approaches have thus far been either inflexible, inefficient or non-scalable. We show that deep generative models and approximate Bayesian inference exploiting recent advances in variational methods can be used to provide significant improvements, making generative approaches highly competitive for semi-supervised learning.

研究动机与目标

• 解决标注数据稀缺但未标注数据丰富的半监督学习挑战。
• 开发一种可扩展的概率框架，将深度生成模型与近似贝叶斯推断相结合，以提升泛化能力。
• 克服先前生成方法的局限性，如缺乏灵活性、效率低下或不可扩展。
• 有效利用数据密度信息，使决策边界超越仅依赖监督学习的性能。
• 通过统一的生成模型联合优化模型参数与变分参数，在标准基准上实现最先进性能。

提出的方法

• 该模型采用具有潜在变量 z 的深度生成架构来表示数据，其中 x 由 z 和类别标签 y 生成。
• 采用变分推断框架来近似真实后验 p(z|x,y)，使用识别模型（推断网络）来估计 q(z|x,y）。
• 应用随机变分推断，联合优化模型参数 θ 和变分参数 φ，从而实现对大规模数据集的可扩展性。
• 通过变分下界（ELBO）进行模型训练，该下界同时包含标注和未标注数据，最大化模型下观测数据的对数似然。
• 通过建模联合密度 p(x,y,z) 支持归纳学习与归纳学习，利用 z 的后验分布进行预测。
• 通过在不同类别间操纵潜在码 z 实现类比推理，展示了解耦表示学习的能力。

实验结果

研究问题

• RQ1 使用可扩展的近似贝叶斯推断的深度生成模型能否在半监督学习中实现最先进性能？
• RQ2 生成模型在多大程度上能有效利用未标注数据，使分类性能超越监督基线？
• RQ3 变分推断能否在深度生成模型中有效应用于模型与推断参数的联合优化，以实现半监督学习？
• RQ4 所学习的表征在多大程度上能将类别条件内容与类内可变性（如风格）解耦？
• RQ5 随着未标注数据量的增加和标注样本数量的变化，模型性能如何变化？

主要发现

• 在仅使用 1,000 个标注样本的 SVHN 数据集上，该方法通过在生成特征上使用 KNN，测试准确率达到 77.93%，优于标准 KNN 和 TSVM 基线。
• 在 NORB 数据集上，使用 1,000 个标注样本，通过生成模型的特征进行 KNN 分类，测试准确率达到 78.71%，显著优于基线 KNN 和 TSVM。
• 该方法在标准半监督学习任务上表现出最先进性能，表明当与深度架构和变分推断结合时，生成模型可与判别式方法相媲美。
• 定性分析表明，该模型学习到解耦表征，其中潜在变量 z 捕获风格变化，而类别标签 y 控制内容，从而实现在不同类别间进行类比图像生成。
• 随机变分推断算法实现了模型与变分参数的高效联合优化，使该方法可扩展至大规模数据集。
• 该模型能够生成类比图像——通过将一个类别的风格转移到另一个类别，展示了其在有意义表征学习方面的能力。