[论文解读] Understanding Probabilistic Sparse Gaussian Process Approximations

Matthias Bauer, Mark van der Wilk+1 more|arXiv (Cornell University)|Jun 15, 2016

Gaussian Processes and Bayesian Inference参考文献 18被引用 65

一句话总结

本文对两种流行的稀疏高斯过程近似方法——FITC与VFE进行了全面的理论与实证比较，证明VFE是边缘似然的真实下界，行为更可靠，而FITC存在目标函数偏差、噪声方差估计不可靠及优化行为不可靠等问题。尽管VFE优化难度更高，但只要初始化得当，其始终能识别出更优解。

ABSTRACT

Good sparse approximations are essential for practical inference in Gaussian Processes as the computational cost of exact methods is prohibitive for large datasets. The Fully Independent Training Conditional (FITC) and the Variational Free Energy (VFE) approximations are two recent popular methods. Despite superficial similarities, these approximations have surprisingly different theoretical properties and behave differently in practice. We thoroughly investigate the two methods for regression both analytically and through illustrative examples, and draw conclusions to guide practical application.

研究动机与目标

• 理解并对比FITC与VFE两种广泛使用的稀疏高斯过程近似方法的理论与实际行为。
• 研究尽管FITC广受欢迎，为何其在实践中常失效，特别是在超参数学习与噪声方差估计方面。
• 评估VFE报告的欠拟合问题是否源于目标函数本身，还是优化困难所致。
• 基于其独特的优化景观与理论性质，为如何有效使用每种方法提供实用指导。

提出的方法

• 采用统一符号表示，比较FITC与VFE，二者均依赖M个诱导输入来近似完整GP后验。
• 分析FITC与VFE的目标函数，表明VFE能提供边缘似然的真实下界，而FITC不能。
• 通过解析推导及一维与高维回归示例（如pumadyn32nm）对比模型行为。
• 使用负对数边缘似然（NLML）、测试RMSE及学习到的超参数（如长度尺度、噪声方差）等指标评估优化性能。
• 应用随机重启、k-means初始化及从FITC解初始化等优化技术以提升VFE的收敛性。
• 采用平方指数ARD核，设置独立长度尺度，以评估高维设置下特征相关性与模型容量。

实验结果

研究问题

• RQ1 FITC与VFE在理论性质上如何不同，特别是在目标函数与边缘似然下界方面？
• RQ2 为何FITC常低估噪声方差σ²ₙ并高估边缘似然？这对模型拟合有何后果？
• RQ3 VFE报告的欠拟合问题在多大程度上源于目标函数本身，而非优化困难？
• RQ4 在高维数据集中，联合优化诱导输入与超参数时，两种方法的行为如何？
• RQ5 通过更优初始化能否提升VFE性能？其在解质量方面与FITC相比如何？

主要发现

• VFE是边缘似然的真实下界，而FITC的目标函数并非如此，导致推断偏差与不可靠的模型选择。
• FITC常低估噪声方差σ²ₙ，有时将其推向接近零的值，尤其在高维或低密度数据区域。
• 在pumadyn32nm数据集（32维，7168个训练样本）中，VFE在联合优化超参数与诱导输入时未能识别出相关长度尺度，导致RMSE高达0.979，而GP的RMSE为0.209。
• 当使用FITC解进行初始化时，VFE成功恢复了良好拟合，RMSE为0.212，并正确识别出四个重要长度尺度，表明问题源于优化而非目标函数本身。
• VFE在增加诱导点数量时表现持续改善，且在可能时可恢复真实后验；而FITC的性能严重依赖局部最优解，易浪费建模能力。
• 尽管VFE具有理论优势，但其更易陷入局部最优，需通过使用FITC解或k-means聚类等方法进行仔细初始化，方能达到良好性能。