[论文解读] Sparse Gaussian Processes with Spherical Harmonic Features

Vincent Dutordoir, Nicolas Durrande+1 more|arXiv (Cornell University)|Jun 30, 2020

Gaussian Processes and Bayesian Inference被引用 16

一句话总结

本文提出变分推理与球谐函数（VISH），一种稀疏高斯过程方法，将输入数据映射到单位超球面，并使用球谐基函数实现快速、可扩展的推理。通过利用球面上平稳核的Mercer表示，VISH在诱导变量之间实现对角协方差矩阵，降低推理复杂度，从而在600万数据点的数据集上实现比标准稀疏高斯过程快100倍以上的训练速度，同时保持最先进水平的准确性。

ABSTRACT

We introduce a new class of inter-domain variational Gaussian processes (GP) where data is mapped onto the unit hypersphere in order to use spherical harmonic representations. Our inference scheme is comparable to variational Fourier features, but it does not suffer from the curse of dimensionality, and leads to diagonal covariance matrices between inducing variables. This enables a speed-up in inference, because it bypasses the need to invert large covariance matrices. Our experiments show that our model is able to fit a regression model for a dataset with 6 million entries two orders of magnitude faster compared to standard sparse GPs, while retaining state of the art accuracy. We also demonstrate competitive performance on classification with non-conjugate likelihoods.

研究动机与目标

• 为解决稀疏高斯过程在高维输入空间中的维度灾难问题，提出一种新型的域间变分GP框架。
• 开发一种可扩展的推理方法，避免在高维输入空间中对大规模协方差矩阵求逆的计算瓶颈。
• 利用球谐函数作为诱导变量的基函数，确保全局影响与高效计算。
• 实现在大规模数据集（如600万数据点）上的快速训练，同时保持与最先进模型相当的预测准确性。
• 将方法推广至任意在超球面上的平稳核，而不仅限于Matérn族核。

提出的方法

• 使用带偏置扩展的输入表示，将输入数据线性映射到单位超球面 $\mathbb{S}^{d-1}$。
• 使用球谐函数作为诱导变量的基函数，其为球面上平稳核的本征函数。
• 通过球谐特征构建变分近似，使诱导变量之间的协方差矩阵为对角矩阵。
• 利用球面上平稳核的Mercer表示，确保球面域中核矩阵可对角化。
• 通过最小化近似后验与真实后验之间的Kullback-Leibler散度执行变分推理，计算复杂度降低至 $\mathcal{O}(M^2N + N)$。
• 使用线性投影的逆变换，将预测结果从球面域映射回原始输入空间。

实验结果

研究问题

• RQ1 能否利用球谐函数构建一种稀疏GP框架，避免在高维输入空间中出现的维度灾难？
• RQ2 使用球谐特征是否能导致诱导变量之间呈现对角协方差结构，从而实现比现有方法更快的推理速度？
• RQ3 所提出的方法能否在大规模数据集（如600万点）上实现可扩展性，同时保持与最先进模型相当的预测准确性？
• RQ4 在回归与分类任务中，该方法与变分傅里叶特征（VFF）和标准稀疏GP（SVGP）相比性能如何？
• RQ5 该方法能否推广至任意在球面上的平稳核，而不仅限于Matérn族核？

主要发现

• 在单个消费级GPU上，VISH在600万点回归数据集上的推理耗时为41.0 ± 0.81秒，相比标准稀疏GP（SVGP）实现两个数量级的速度提升。
• 在UCI HEPMASS数据集上，该方法在NLPD指标上优于VFF与SVGP，在MSE指标上处于误差范围内，660个诱导变量的模型实现了具有竞争力的性能。
• 在SUSY分类基准上，VISH的AuC达到0.859 ± 0.001，优于使用平方指数核的SVGP（0.852 ± 0.002），并匹配一个深层5层神经网络的性能。
• 使用球谐函数使诱导变量之间的协方差矩阵变为对角矩阵，消除了对大规模矩阵求逆的需求，从而实现更快的推理。
• 该方法在高维数据（最高达8维）上表现出可扩展性，而VFF因诱导变量数量呈指数增长而变得不可行。
• 球谐基函数可通过阶次排序实现有原则的特征选择，确保在固定诱导变量预算下实现最优利用。