[论文解读] On the Consistency of Graph-based Bayesian Learning and the Scalability of Sampling Algorithms

Nicolás García Trillos, Zachary Kaplan+2 more|arXiv (Cornell University)|Oct 20, 2017

Gaussian Processes and Bayesian Inference参考文献 46被引用 12

一句话总结

本文通过证明当未标记数据增加时，图模型后验分布收敛到连续极限，建立了基于图的贝叶斯半监督学习的一致性，前提是图参数（如连通半径 ε）以适当方式缩放。该极限确保马尔可夫链蒙特卡洛（MCMC）算法（如 pCN）的谱间隙保持均匀，且与数据规模无关，从而实现无论数据集大小如何都可扩展的采样。

ABSTRACT

A popular approach to semi-supervised learning proceeds by endowing the input data with a graph structure in order to extract geometric information and incorporate it into a Bayesian framework. We introduce new theory that gives appropriate scalings of graph parameters that provably lead to a well-defined limiting posterior as the size of the unlabeled data set grows. Furthermore, we show that these consistency results have profound algorithmic implications. When consistency holds, carefully designed graph-based Markov chain Monte Carlo algorithms are proved to have a uniform spectral gap, independent of the number of unlabeled inputs. Several numerical experiments corroborate both the statistical consistency and the algorithmic scalability established by the theory.

研究动机与目标

• 建立当未标记数据点数量增加时，基于图的贝叶斯半监督学习的理论一致性。
• 分析高维图模型后验推断中 MCMC 采样算法的可扩展性。
• 识别参数缩放方式（特别是 ε-图中的 ε）以确保收敛到连续后验分布。
• 将统计一致性与算法可扩展性联系起来，表明均匀谱间隙可实现与迭代次数无关的收敛。
• 证明连续极限的存在使得即使在信息量很大的数据下，也能通过 pCN 等方法实现鲁棒的、大规模 n 的采样。

提出的方法

• 使用 ε-图从未标记输入数据构建图拉普拉斯矩阵，以编码流形结构。
• 利用图拉普拉斯矩阵定义函数上的高斯过程先验，协方差通过幂参数 s 进行缩放。
• 基于观测到的标签构建似然函数，通过加性噪声或概率模型（如 probit、logistic）建模数据拟合误差。
• 证明当 n → ∞ 时，图后验收敛到定义在底层流形 M 上的连续后验。
• 应用谱间隙理论，表明在连续极限下，pCN MCMC 算法的谱间隙保持均匀，且与 n 无关。
• 采用图拉普拉斯矩阵特征值的高级界以及无限维贝叶斯渐近理论的最新结果，建立收敛性与鲁棒性。

实验结果

研究问题

• RQ1 当未标记数据点数量增加时，图连通性参数 ε 的何种缩放方式可使基于图的后验收敛到连续极限？
• RQ2 连续极限的存在是否意味着在基于图的贝叶斯学习中，MCMC 采样具有算法可扩展性？
• RQ3 在连续极限下，随着未标记数据点数量增加，pCN MCMC 算法的谱间隙行为如何？
• RQ4 通过图拉普拉斯定义的先验协方差结构在确保一致性与可扩展性方面起什么作用？
• RQ5 在高维设置下，观测噪声 σ 和先验精度 β 等模型参数如何影响 pCN 的混合行为与接受概率？

主要发现

• 当 ε 按 εn ≈ 2n−1/4 缩放时，图后验收敛到定义在底层流形 M 上的良态连续后验，确保统计一致性。
• 当连续极限存在时，pCN MCMC 算法的谱间隙保持均匀，且与未标记数据点数 n 无关。
• 数值实验表明，在固定 p = 200 个标记点的半监督设置下，pCN 的平均接受概率在 n = 300 到 2000 范围内保持稳定（约 0.24）。
• 在完全监督情形（n = p）下，平均接受概率显著下降——从 n = 300 时的 0.45 降至 n = 2000 时的 0.11，表明当数据高度信息丰富时算法性能退化。
• 当观测噪声 σ 较小时（如 σ = 0.001），pCN 性能下降，但 σ 较大时（如 σ = 0.1）性能提升，表明对数据信息量敏感。
• 理论与数值结果表明，连续极限的存在使鲁棒采样成为可能，且算法复杂度与 n 无关，前提是后验不过分偏离先验。