[论文解读] Randomly Projected Additive Gaussian Processes for Regression

Ian Delbridge, David Bindel+1 more|arXiv (Cornell University)|Dec 30, 2019

Gaussian Processes and Bayesian Inference参考文献 37被引用 12

一句话总结

该论文提出了随机投影加性高斯过程（RPA-GP）和确定性投影加性高斯过程（DPA-GP），通过将一维核函数应用于高维输入的随机或确定性投影来构建。令人惊讶的是，性能能迅速收敛至全维核函数的水平——即使仅使用一维投影——从而实现无需学习投影的快速、可扩展回归。

ABSTRACT

Gaussian processes (GPs) provide flexible distributions over functions, with inductive biases controlled by a kernel. However, in many applications Gaussian processes can struggle with even moderate input dimensionality. Learning a low dimensional projection can help alleviate this curse of dimensionality, but introduces many trainable hyperparameters, which can be cumbersome, especially in the small data regime. We use additive sums of kernels for GP regression, where each kernel operates on a different random projection of its inputs. Surprisingly, we find that as the number of random projections increases, the predictive performance of this approach quickly converges to the performance of a kernel operating on the original full dimensional inputs, over a wide range of data sets, even if we are projecting into a single dimension. As a consequence, many problems can remarkably be reduced to one dimensional input spaces, without learning a transformation. We prove this convergence and its rate, and additionally propose a deterministic approach that converges more quickly than purely random projections. Moreover, we demonstrate our approach can achieve faster inference and improved predictive accuracy for high-dimensional inputs compared to kernels in the original input space.

研究动机与目标

• 解决高斯过程回归中的维度灾难问题，且无需可学习的投影。
• 开发一种无需学习的方法，在显著降低计算复杂度的同时保持预测准确性。
• 证明在少量投影下，基于随机投影的加性核可逼近全维核函数。
• 通过利用投影输入中的加性结构，实现基于结构化核插值（SKI）的高效推理。
• 在高维和大规模数据集上，将 RPA-GP 和 DPA-GP 与标准 GP 核函数及加性模型进行性能比较。

提出的方法

• RPA-GP 通过将一维核函数应用于输入数据的多个随机投影来构建加性高斯过程。
• 每个核函数独立作用于一个随机投影，其和构成整体核函数。
• 该方法利用转向带法（TBM）通过加性投影近似高维核函数。
• DPA-GP 引入一种确定性投影方案，以最小化冗余并加速收敛至极限核函数。
• 该方法通过将问题分解为 J 个一维子问题，使结构化核插值（SKI）得以应用。
• 理论分析证明，随着投影数量 J 增加，RPA-GP 以 O(J−1/2) 的速率收敛至反多二次核函数。

实验结果

研究问题

• RQ1 在不学习投影的情况下，将输入投影至低维空间是否可实现与全维 GP 核函数相当的预测性能？
• RQ2 随着投影数量的增加，RPA-GP 的预测性能收敛至全维核函数的速度如何？
• RQ3 确定性投影方案（DPA-GP）是否在收敛速度和准确性上优于纯随机投影？
• RQ4 通过利用投影输入中的加性结构，是否能在高维设置下实现基于 SKI 的可扩展推理？
• RQ5 在大规模或高维数据集上，RPA-GP 与标准 GP 核函数及加性模型（如 GAM GP）在准确性和可扩展性方面表现如何？

主要发现

• 即使投影至单一线性空间，RPA-GP 也能实现与全维核函数相当的预测性能，且在多种数据集上均观察到收敛。
• 理论证明 RPA-GP 收敛至反多二次核函数的速率为 O(J−1/2)，其中 J 为投影数量。
• DPA-GP 作为一种确定性投影方法，收敛速度优于 RPA-GP，并在大规模数据集上进一步提升了预测准确性。
• 结合 SKI 的 RPA-GP 实现了线性时间训练和常数时间预测，将计算复杂度从 O(n³) 降低至 O(Jc(n + m))，其中 m 为诱导点数量。
• 在高维数据（如 d=1935）中，当训练样本数 n 相对于输入维度 d 较小时，DPA-GP-ARD 的表现优于 RBF 和 GAM GPs。
• 实验结果表明，RPA-GP 和 DPA-GP 能有效扩展至超过 1000 个输入维度，其训练时间与 n 呈线性关系，而传统 Cholesky 推理则不然。