[论文解读] Thoughts on Massively Scalable Gaussian Processes

Andrew Gordon Wilson, Christoph Dann+1 more|arXiv (Cornell University)|Nov 5, 2015

Gaussian Processes and Bayesian Inference参考文献 25被引用 76

一句话总结

本文提出了大规模可扩展高斯过程（MSGP），通过结合循环矩阵近似、Kronecker与Toeplitz结构的利用以及输入空间投影，实现了复杂度降低一半的框架。该方法在无需分布式计算或严苛假设的前提下，实现了对数十亿数据点的复杂度降低一半的推理与学习（测试时间预测复杂度降低一半），显著推进了可扩展高斯过程推理与核学习的发展。

ABSTRACT

We introduce a framework and early results for massively scalable Gaussian processes (MSGP), significantly extending the KISS-GP approach of Wilson and Nickisch (2015). The MSGP framework enables the use of Gaussian processes (GPs) on billions of datapoints, without requiring distributed inference, or severe assumptions. In particular, MSGP reduces the standard $O(n^3)$ complexity of GP learning and inference to $O(n)$, and the standard $O(n^2)$ complexity per test point prediction to $O(1)$. MSGP involves 1) decomposing covariance matrices as Kronecker products of Toeplitz matrices approximated by circulant matrices. This multi-level circulant approximation allows one to unify the orthogonal computational benefits of fast Kronecker and Toeplitz approaches, and is significantly faster than either approach in isolation; 2) local kernel interpolation and inducing points to allow for arbitrarily located data inputs, and $O(1)$ test time predictions; 3) exploiting block-Toeplitz Toeplitz-block structure (BTTB), which enables fast inference and learning when multidimensional Kronecker structure is not present; and 4) projections of the input space to flexibly model correlated inputs and high dimensional data. The ability to handle many ($m \approx n$) inducing points allows for near-exact accuracy and large scale kernel learning.

研究动机与目标

• 解决标准高斯过程在大规模数据集（$n > 10^5$）上因复杂度为$\tfrac{1}{2}$阶而导致的计算不可行性问题。
• 克服传统诱导点方法对$m \ll n$的依赖，此类方法会降低预测精度并阻碍核学习。
• 在无需分布式推理的前提下，实现接近精确的、复杂度降低一半的测试时间预测（每点复杂度降低一半）。
• 将KISS-GP扩展至高维输入（$D \gg 5$），并支持超越Kronecker分解的通用多维结构。
• 通过多级循环结构实现快速、精确的对数行列式近似，支持可扩展的核学习。

提出的方法

• 将协方差矩阵分解为Toeplitz矩阵的Kronecker积，并通过循环矩阵进行近似，统一了快速Kronecker与Toeplitz方法的计算优势。
• 利用局部核插值与诱导点技术，实现对任意位置输入的复杂度降低一半的测试时间预测。
• 利用块Toeplitz-Toeplitz-块（BTTB）结构，在缺乏多维Kronecker结构时，实现快速、精确的推理与学习。
• 通过学习得到的$d \times D$矩阵$P$进行输入空间投影，将高维输入映射至低维子空间，实现可扩展的高斯过程建模。
• 通过最大边际似然法联合优化投影矩阵$P$与核超参数，并施加约束（如单位缩放）以防止退化。
• 利用循环矩阵近似实现快速的对数行列式评估，这对高效核学习与边际似然优化至关重要。

实验结果

研究问题

• RQ1 能否在无需分布式计算或限制性假设的前提下，将高斯过程推理与学习扩展至数十亿数据点，并实现复杂度降低一半？
• RQ2 循环矩阵近似能否统一Kronecker与Toeplitz结构的优势，以加速核学习与对数行列式计算？
• RQ3 能否利用BTTB结构在Kronecker分解不适用的多维场景中实现快速、精确的推理？
• RQ4 输入空间投影能否使KISS-GP在实现复杂度降低一半的测试时间复杂度的同时，对高维、非网格结构的数据进行建模？
• RQ5 联合优化投影矩阵与核超参数能否恢复真实低维子空间，同时在大规模场景下保持预测精度？

主要发现

• MSGP实现了每测试点复杂度降低一半的均值与方差预测，将标准高斯过程的复杂度从$\tfrac{1}{2}$阶降低至$\tfrac{1}{2}$阶。
• 该方法在$n \approx 10^9$个数据点上支持接近精确的推理与学习，复杂度降低一半，实现了大规模核学习。
• 在$D = 40$以内，子空间重构误差保持较低（距离$< 0.1$），SMAE误差与真实GP基线相比在$D = 40$以内具有竞争力。
• 即使在$D = 100$时，MSGP在高维输入上仍显著优于标准精确高斯过程，展现出对输入维度的强鲁棒性。
• 单位缩放的投影矩阵可防止$P$与核超参数之间的退化问题，提升数值稳定性与性能。
• 循环矩阵近似实现了快速、精确的对数行列式评估，加速了1D与多维场景下的边际似然优化与核学习。