[论文解读] Scalable Gaussian-process regression and variable selection using Vecchia approximations

Jian Cao, Joseph Guinness+2 more|arXiv (Cornell University)|Feb 25, 2022

Gaussian Processes and Bayesian Inference被引用 6

一句话总结

本文提出VGPR，一种基于Vecchia近似进行变量选择的高斯过程回归可扩展算法。通过结合缩放的Vecchia近似、小批量子采样以及一种新型的二次约束坐标下降方法，VGPR能够高效处理数百万个响应变量和数千个协变量，在大规模场景下实现高精度与计算效率。

ABSTRACT

Gaussian process (GP) regression is a flexible, nonparametric approach to regression that naturally quantifies uncertainty. In many applications, the number of responses and covariates are both large, and a goal is to select covariates that are related to the response. For this setting, we propose a novel, scalable algorithm, coined VGPR, which optimizes a penalized GP log-likelihood based on the Vecchia GP approximation, an ordered conditional approximation from spatial statistics that implies a sparse Cholesky factor of the precision matrix. We traverse the regularization path from strong to weak penalization, sequentially adding candidate covariates based on the gradient of the log-likelihood and deselecting irrelevant covariates via a new quadratic constrained coordinate descent algorithm. We propose Vecchia-based mini-batch subsampling, which provides unbiased gradient estimators. The resulting procedure is scalable to millions of responses and thousands of covariates. Theoretical analysis and numerical studies demonstrate the improved scalability and accuracy relative to existing methods.

研究动机与目标

• 解决在响应变量数量（n）和协变量数量（d）均较大的高维场景下，高斯过程回归的可扩展性与同时进行变量选择的挑战。
• 开发一种方法，在通过近似技术将计算成本从O(n³)降低至可扩展水平的同时，保持高预测精度。
• 通过基于梯度的更新和一种新型坐标下降算法，实现对稀疏性与相关性的有效处理，从而实现高效的变量选择。
• 通过基于Vecchia的小批量子采样，实现在大规模场景下的无偏梯度估计，支持随机优化。
• 提供一种理论基础坚实、计算高效的现有惩罚型GP方法的替代方案，后者在高维输入空间中表现不佳。

提出的方法

• 该方法采用缩放的Vecchia近似，构建精度矩阵的稀疏Cholesky分解，实现O(n)复杂度的高效GP推断。
• 通过有序条件近似，将联合GP似然分解为一系列单变量条件的乘积，降低计算负担。
• 采用基于梯度的路径追踪算法，根据对数似然梯度顺序添加协变量，实现对正则化路径的高效探索。
• 提出一种新的二次约束坐标下降算法，有选择地移除无关协变量，促进稀疏性并提升模型可解释性。
• 引入基于Vecchia的小批量子采样，提供无偏梯度估计器，支持随机优化并实现大规模数据的可扩展性。
• 在自适应桥接惩罚下优化惩罚对数似然，平衡模型拟合度与稀疏性。

实验结果

研究问题

• RQ1 能否将Vecchia近似与基于梯度的变量选择有效结合，使GP回归在n和d均较大的情况下实现可扩展性？
• RQ2 所提出的子采样策略是否能提供适用于大规模优化的无偏梯度估计器？
• RQ3 在大规模数据集上，VGPR在精度、收敛性与计算效率方面相较于现有方法表现如何？
• RQ4 该二次约束坐标下降算法是否能有效识别相关协变量，同时保持模型稳定性？
• RQ5 缩放的Vecchia近似在高维输入空间中对GP回归精度有何影响？

主要发现

• VGPR实现了对数百万个响应变量和数千个协变量的高斯过程回归的可扩展推断，计算效率显著优于现有方法。
• 基于Vecchia的小批量子采样提供了无偏梯度估计器，支持稳定高效的随机优化。
• 所提出的二次约束坐标下降算法能有效移除无关协变量，生成稀疏且可解释的模型。
• 理论分析表明，基于Vecchia近似的期望对数似然在真实参数值处达到最大，支持一致性。
• 数值实验表明，VGPR在将计算成本降低数个数量级的同时，仍能保持高预测精度，相比精确GP方法优势显著。
• 缩放的Vecchia近似在高维输入空间（d > 10）中相比标准Vecchia方法显著提升了精度。