[论文解读] Variational Orthogonal Features

David R. Burt, Carl Edward Rasmussen+1 more|arXiv (Cornell University)|Jun 23, 2020

Gaussian Processes and Bayesian Inference参考文献 20被引用 6

一句话总结

本文提出了变分正交特征（VOF），一种用于高斯过程推断的方法，通过蒙特卡洛采样实现无偏ELBO估计，计算复杂度为O(\tilde{N}T + M^2T)，在均场近似下复杂度降低为O(\tilde{N}T + MT)。该方法通过构建诱导特征协方差矩阵K_uu为对角矩阵的特征，适用于任意平稳核，从而消除了标准稀疏变分推断中O(M^3)的计算开销。

ABSTRACT

Sparse stochastic variational inference allows Gaussian process models to be applied to large datasets. The per iteration computational cost of inference with this method is $\mathcal{O}( ilde{N}M^2+M^3),$ where $ ilde{N}$ is the number of points in a minibatch and $M$ is the number of `inducing features', which determine the expressiveness of the variational family. Several recent works have shown that for certain priors, features can be defined that remove the $\mathcal{O}(M^3)$ cost of computing a minibatch estimate of an evidence lower bound (ELBO). This represents a significant computational savings when $M\gg ilde{N}$. We present a construction of features for any stationary prior kernel that allow for computation of an unbiased estimator to the ELBO using $T$ Monte Carlo samples in $\mathcal{O}( ilde{N}T+M^2T)$ and in $\mathcal{O}( ilde{N}T+MT)$ with an additional approximation. We analyze the impact of this additional approximation on inference quality.

研究动机与目标

• 开发一种可扩展的高斯过程推断方法，消除稀疏变分推断中的O(M^3)计算开销。
• 在M较大且小批量训练时，实现无偏ELBO估计且计算开销较低。
• 将现有方法（如VFF和特征函数特征）推广至任意平稳核，而无需闭式解。
• 通过利用具有对角K_uu的正交基函数，提升随机变分推断的计算效率。
• 分析在诱导特征协方差上采用均场近似所引入的近似质量与计算节省之间的权衡。

提出的方法

• 基于平稳核的再生核希尔伯特空间（RKHS）中的正交函数，构建一组变分正交特征（VOF）。
• 定义特征使得诱导特征协方差矩阵K_uu为对角矩阵，从而消除O(M^3)的求逆开销。
• 使用T个样本的蒙特卡洛采样，在O(\tilde{N}T + M^2T)时间内估计ELBO，而在均场近似下复杂度可降至O(\tilde{N}T + MT)。
• 将该方法应用于共轭与非共轭似然，非高斯情形下使用高斯-埃尔米特求积。
• 通过核的谱分解推导特征函数，确保正交性及K_uu的对角性。
• 在实际中通过递归计算正交多项式（如埃尔米特多项式）高效计算特征值及其梯度。

实验结果

研究问题

• RQ1 能否为任意平稳核开发一种通用的特征构造方法，以避免稀疏变分GP推断中的O(M^3)开销？
• RQ2 在诱导特征协方差上采用均场近似，对变分近似的实际质量有何影响？
• RQ3 在ELBO估计方差与收敛性方面，使用完整K_uu与对角K_uu之间的计算与统计权衡如何？
• RQ4 能否在不依赖积分方程解析解的前提下构造正交特征，如以往基于特征函数的方法？
• RQ5 正交基函数的选择（如埃尔米特、三角函数）如何影响最终GP模型的可扩展性与准确性？

主要发现

• 所提出的VOF方法在使用T个蒙特卡洛样本时，实现O(\tilde{N}T + M^2T)复杂度的无偏ELBO估计，完全消除了标准SVI中的O(M^3)项。
• 在均场近似下，复杂度降低至O(\tilde{N}T + MT)，当M ≫ \tilde{N}时显著提升了可扩展性。
• 该方法适用于任意平稳核，推广了以往受限于特定核类的方法（如VFF和特征函数特征）。
• 实验结果表明，均场近似仅导致性能轻微下降，TrigVOF与完整K_uu变体的ELBO值非常接近。
• 尽管理论优势明显，但在小M场景下实际收益有限，主要受限于正交多项式评估的高开销，但该方法在大M情况下仍保持渐近优越性。
• 该方法通过将计算成本与M的立方项解耦，实现了大规模数据集上高效的随机变分推断。