[论文解读] Subspace-Induced Gaussian Processes

Zilong Tan, Sayan Mukherjee|arXiv (Cornell University)|Feb 21, 2018

Gaussian Processes and Bayesian Inference被引用 2

一句话总结

本文提出子空间诱导高斯过程（SIGP），一种低秩高斯过程回归模型，通过在再生核希尔伯特空间中使用充分降维子空间来参数化协方差核。利用该子空间，SIGP 实现了显著的计算效率提升和预测方差降低，即使在秩 $m \leq 3$ 时也优于标准全秩高斯过程。

ABSTRACT

We present a new Gaussian process (GP) regression model where the covariance kernel is indexed or parameterized by a sufficient dimension reduction subspace of a reproducing kernel Hilbert space. The covariance kernel will be low-rank while capturing the statistical dependency of the response to the covariates, this affords significant improvement in computational efficiency as well as potential reduction in the variance of predictions. We develop a fast Expectation-Maximization algorithm for estimating the parameters of the subspace-induced Gaussian process (SIGP). Extensive results on real data show that SIGP can outperform the standard full GP even with a low rank-$m$, $m\leq 3$, inducing subspace.

研究动机与目标

• 解决标准高斯过程回归在高维设置下的计算低效问题。
• 在不损失预测准确性的前提下，降低高斯过程模型的预测方差。
• 开发一种可扩展的高斯过程框架，通过在核空间中进行降维来保持统计效能。
• 通过一种新颖的期望-最大化算法实现快速推理，用于参数估计。
• 证明低秩子空间诱导核能够匹配或超越全秩高斯过程模型的性能。

提出的方法

• 通过再生核希尔伯特空间中的充分降维方法，推导出低秩子空间，用于参数化高斯过程的协方差核。
• 构建一个低秩核矩阵，以捕捉协变量与响应之间的关键依赖关系，同时降低计算成本。
• 基于诱导子空间制定似然函数，以实现高效的边际似然优化。
• 开发一种快速的期望-最大化算法，联合估计子空间与核超参数。
• 利用子空间在应用高斯过程回归前，将输入协变量投影到低维空间。
• 利用核结构的特性，确保所得协方差矩阵保持正定且计算上可行。

实验结果

研究问题

• RQ1 由充分降维子空间诱导的低秩核能否保持与全秩高斯过程模型相当的预测准确性？
• RQ2 子空间诱导核如何影响高斯过程回归中的计算效率与预测方差？
• RQ3 所提出的基于EM的估计方法能否可靠地恢复潜在子空间与核参数？
• RQ4 子空间诱导核所需的最低秩（$m$）是多少，才能优于标准高斯过程模型？
• RQ5 SIGP在具有高维输入的实际数据集上的表现如何，相较于基线高斯过程方法？

主要发现

• SIGP 通过使用低秩核结构实现了显著的计算加速，即使在 $m \leq 3$ 时亦然。
• 与标准全秩高斯过程相比，该模型显著降低了预测方差，尤其在高维设置下表现更优。
• 在真实数据上的大量实验表明，SIGP 在预测性能方面优于标准高斯过程模型。
• 所提出的EM算法能够可靠且高效地收敛到高质量的参数估计。
• 即使在最低秩（$m=1,2,3$）下，SIGP 仍能捕捉到足够的统计依赖关系，实现与全秩高斯过程相当或更优的性能。
• 子空间诱导核能有效识别输入空间中对响应预测最具相关性的方向。