[论文解读] Uncertainty Quantification in the Classification of High Dimensional Data.

Andrea L. Bertozzi, Xiyang Luo+2 more|arXiv (Cornell University)|Mar 26, 2017

Machine Learning and Algorithms参考文献 24被引用 11

一句话总结

本文提出了一种基于图的半监督学习的统一贝叶斯框架，用于高维数据的二分类任务，通过标签后验分布实现自动不确定性量化。该框架开发了高效的马尔可夫链蒙特卡洛（MCMC）和最大后验（MAP）推理方法，在标准基准数据集上表现出更高的分类准确率和可靠的不确定性估计。

ABSTRACT

Classification of high dimensional data finds wide-ranging applications. In many of these applications equipping the resulting classification with a measure of uncertainty may be as important as the classification itself. In this paper we introduce, develop algorithms for, and investigate the properties of, a variety of Bayesian models for the task of binary classification; via the posterior distribution on the classification labels, these methods automatically give measures of uncertainty. The methods are all based around the graph formulation of semi-supervised learning. We provide a unified framework which brings together a variety of methods which have been introduced in different communities within the mathematical sciences. We study probit classification, generalize the level-set method for Bayesian inverse problems to the classification setting, and generalize the Ginzburg-Landau optimization-based classifier to a Bayesian setting; we also show that the probit and level set approaches are natural relaxations of the harmonic function approach. We introduce efficient numerical methods, suited to large data-sets, for both MCMC-based sampling as well as gradient-based MAP estimation. Through numerical experiments we study classification accuracy and uncertainty quantification for our models; these experiments showcase a suite of datasets commonly used to evaluate graph-based semi-supervised learning algorithms.

研究动机与目标

• 开发一种统一的贝叶斯方法，用于高维数据的二分类任务，自然地整合不确定性量化。
• 将此前仅在确定性设定下使用的基于图的半监督学习方法，扩展至概率性、贝叶斯框架中。
• 提供适用于大规模数据集的高效计算算法，包括MCMC采样和基于梯度的MAP估计。
• 通过展示现有方法（如调和函数、吉布斯-朗道泛函、水平集方法）可视为同一贝叶斯公式的松弛形式，探究其相互关联。
• 在标准基准数据集上，同时评估分类准确率与不确定性量化的性能。

提出的方法

• 将二分类问题建模为图上的贝叶斯逆问题，其中标签的后验分布提供不确定性估计。
• 应用probit链接函数以建模类别归属的概率，通过潜在高斯过程实现概率分类。
• 将贝叶斯逆问题中的水平集方法推广至分类场景，利用对潜在场的阈值化机制。
• 将吉布斯-朗道泛函扩展至贝叶斯优化框架，引入概率正则化先验。
• 推导出统一视角，表明调和函数、probit和水平集方法均为同一基础贝叶斯模型的自然松弛形式。
• 开发可扩展的数值方法：采用MCMC进行后验采样，基于梯度的优化方法进行MAP估计，适用于大规模数据集。

实验结果

研究问题

• RQ1 如何系统性地将贝叶斯推断应用于基于图的半监督分类，以获得具有不确定性的预测？
• RQ2 已有的基于图的分类器（如调和函数、吉布斯-朗道泛函）与统一的贝叶斯公式之间存在何种关系？
• RQ3 能否有意义地将逆问题中的水平集方法适配至分类场景，并赋予其适当的概率基础？
• RQ4 所提出的贝叶斯模型在标准基准数据集上的分类准确率与不确定性量化性能如何比较？
• RQ5 哪些高效的计算策略能够实现大规模、高维分类任务中的可扩展推理？

主要发现

• 所提出的贝叶斯框架将probit分类、水平集方法与基于吉布斯-朗道泛函的分类器统一于同一概率公式之下。
• 正式证明了probit方法与水平集方法均为贝叶斯框架下调和函数方法的松弛形式。
• 该框架通过分类标签的后验分布，提供一致且可解释的不确定性估计。
• 开发了高效的MCMC与MAP推理算法，使该方法在保持计算可处理性的同时，可应用于大规模数据集。
• 在标准基准数据集上的数值实验表明，该方法在分类准确率方面表现具有竞争力，同时具备可靠的不确定性量化能力。
• 研究结果证实，不确定性估计具有良好的校准性且信息丰富，尤其在数据密度较低或边界模糊的区域表现更优。