[论文解读] Probabilistic selection of inducing points in sparse Gaussian processes

Anders Kirk Uhrenholt, Valentin Charvet+1 more|arXiv (Cornell University)|Oct 19, 2020

Gaussian Processes and Bayesian Inference参考文献 41被引用 7

一句话总结

本文提出一种贝叶斯方法，通过点过程先验和随机变分推断，概率性地选择稀疏高斯过程中的诱导点数量和位置。该方法实现了数据驱动的、自动的、有信息量的诱导点选择，减少了模型复杂度，同时在深度高斯过程和潜在变量模型中保持或提升了性能，无需人工调参或交叉验证。

ABSTRACT

Sparse Gaussian processes and various extensions thereof are enabled through inducing points, that simultaneously bottleneck the predictive capacity and act as the main contributor towards model complexity. However, the number of inducing points is generally not associated with uncertainty which prevents us from applying the apparatus of Bayesian reasoning for identifying an appropriate trade-off. In this work we place a point process prior on the inducing points and approximate the associated posterior through stochastic variational inference. By letting the prior encourage a moderate number of inducing points, we enable the model to learn which and how many points to utilise. We experimentally show that fewer inducing points are preferred by the model as the points become less informative, and further demonstrate how the method can be employed in deep Gaussian processes and latent variable modelling.

研究动机与目标

• 解决稀疏高斯过程中诱导点数量为固定设计选择而非通过推断学习的问题。
• 实现一种基于数据信息性的原则化、贝叶斯方法，以选择诱导点的数量和位置。
• 减少在深度高斯过程和GP-LVM等复杂模型中选择诱导点数量时对人工超参数调优和交叉验证的依赖。
• 提出一种概率框架，将诱导点视为随机变量，其包含概率由数据推导得出。
• 证明当诱导点信息量较低时，模型能够学习使用更少的点，从而在不牺牲预测性能的前提下提高效率。

提出的方法

• 在诱导点上引入点过程先验，以偏好适中数量的点，鼓励稀疏性和选择性。
• 使用随机变分推断近似诱导点的真实后验分布，联合优化模型参数和后验分布。
• 利用得分函数估计最大化证据下界（ELBO），适用于可微目标，可在标准GP框架中实现。
• 定义一种先验，使得在已知变分后验的充分统计量时，可解析计算Kullback-Leibler散度。
• 在深度高斯过程中应用该方法，联合推断多层中最佳的诱导点集合，避免组合搜索。
• 将框架扩展至GP-LVM，通过训练过程中学习动态的诱导点数量，消除对交叉验证的依赖。

实验结果

研究问题

• RQ1 概率模型能否自动学习选择稀疏高斯过程中的最优数量和位置的诱导点？
• RQ2 与固定诱导点数量相比，所提方法是否在保持或提升预测性能的同时降低了模型复杂度？
• RQ3 该方法能否有效应用于深度高斯过程，以联合优化多层中的诱导点数量？
• RQ4 该方法能否通过在训练过程中自适应调整诱导点数量，消除潜在变量模型中对交叉验证的需求？
• RQ5 当候选点的信息量下降时，模型对诱导点的选择如何响应？

主要发现

• 随着诱导点信息量的降低，模型始终选择更少的诱导点，表现出数据驱动的稀疏性和适应性。
• 在基准数据集上，该方法在使用更少诱导点的情况下实现了与标准方法相当或更优的测试对数似然，提升了效率。
• 在深度高斯过程中，该方法学习到在早期层分配更多点，而在后期层分配更少点，反映出各层功能复杂度的差异。
• 在UCI Kin8nm数据集上，自适应策略在不同先验设置下均找到了接近最优的准确率与预测时间权衡，优于网格搜索基线。
• 在单细胞基因表达数据的GP-LVM中，模型在训练过程中动态调整了诱导点数量，消除了选择该超参数时对交叉验证的需求。
• 该方法成功降低了模型复杂度，同时保持了预测准确性，已在合成数据、真实世界数据和高维数据集上得到验证。