[论文解读] Semi-described and semi-supervised learning with Gaussian processes

Andreas Damianou, Neil D. Lawrence|arXiv (Cornell University)|Sep 3, 2015

Gaussian Processes and Bayesian Inference参考文献 16被引用 20

一句话总结

本文提出了一种变分贝叶斯高斯过程框架，同时解决半监督学习（缺失输出）和半描述学习（缺失或不确定输入）问题，实现非线性映射过程中的合理不确定性传播。通过使用变分约束建模输入不确定性，并从近似后验分布中采样，该方法在回归、分类和迭代预测任务中显著提升性能，尤其在标注数据稀缺的情况下表现优异。

ABSTRACT

Propagating input uncertainty through non-linear Gaussian process (GP) mappings is intractable. This hinders the task of training GPs using uncertain and partially observed inputs. In this paper we refer to this task as "semi-described learning". We then introduce a GP framework that solves both, the semi-described and the semi-supervised learning problems (where missing values occur in the outputs). Auto-regressive state space simulation is also recognised as a special case of semi-described learning. To achieve our goal we develop variational methods for handling semi-described inputs in GPs, and couple them with algorithms that allow for imputing the missing values while treating the uncertainty in a principled, Bayesian manner. Extensive experiments on simulated and real-world data study the problems of iterative forecasting and regression/classification with missing values. The results suggest that the principled propagation of uncertainty stemming from our framework can significantly improve performance in these tasks.

研究动机与目标

• 为解决高斯过程在部分观测或不确定输入特征下训练的挑战，该问题此前因非线性不确定性传播而难以处理。
• 在单一贝叶斯高斯过程框架下统一半监督学习（缺失输出）和半描述学习（缺失输入）。
• 在保持高斯过程推理完整贝叶斯性质的同时，实现对缺失输入的合理、概率性填补。
• 通过在预测序列中建模不确定性传播，将该框架扩展至自回归预测任务。
• 开发一种可扩展、可并行化的推理算法，在统一的变分近似框架内处理输入和输出的缺失。

提出的方法

• 该方法采用变分推断来近似潜在输入的后验分布，显式建模训练和测试输入中的不确定性。
• 引入一种变分约束机制，将输入后验条件化于观测到的噪声或部分输入值，实现一致的不确定性传播。
• 该框架采用Titsias和Lawrence（2010）的变分高斯过程方法，通过近似后验密度将输入不确定性传播至非线性高斯过程映射中。
• 在半监督学习中，模型从所有输入（标注和未标注）中学习低维嵌入，然后从变分后验中采样以填充小规模标注集合。
• 该方法支持每个数据点和维度的不同不确定性水平，且不会增加过拟合风险，因为不确定性通过变分参数而非模型参数建模。
• 该框架被集成到并行推理算法中，实现高效训练并可扩展至真实世界数据集。

实验结果

研究问题

• RQ1 高斯过程模型能否以完全贝叶斯方式有效处理缺失或不确定的输入特征？
• RQ2 如何以可计算的方式将部分观测输入的不确定性传播至非线性高斯过程映射中？
• RQ3 能否通过单一基于高斯过程的方法统一解决半监督学习（缺失输出）和半描述学习（缺失输入）问题？
• RQ4 合理的不确定性传播是否能提升在标注数据有限的回归、分类和迭代预测任务中的性能？
• RQ5 在低数据场景下，该方法与标准基线方法（如GP-LVM和PCA）相比表现如何？

主要发现

• 所提方法在半监督分类任务中显著优于基线方法（如标准GP-LVM和PCA），尤其在标注数据稀缺时表现更优。
• 在USPS手写数字数据集上，即使仅使用少量标注样本，该方法也实现了显著的性能提升，误差降低明显。
• 使用输入空间变分后验的多个样本比仅使用均值表现更优，证明了不确定性感知采样的价值。
• 该方法在极端数据稀缺情况下表现出良好鲁棒性，在标注数据极少的场景中优于启发式自训练基线方法。
• 在油流数据集上的结果确认了多次试验中的一致性改进，该方法有效利用未标注数据提升了分类准确率。
• 该框架成功将自回归预测建模为半描述学习问题，实现了预测序列中的不确定性传播。