[论文解读] Scaling Gaussian Process Regression with Derivatives

David Eriksson, Kun Dong+3 more|arXiv (Cornell University)|Jan 1, 2018

Gaussian Processes and Bayesian Inference被引用 29

一句话总结

本文提出了一种基于迭代求解器和选主元Cholesky预条件化的可扩展高斯过程回归方法，通过将计算复杂度从 𝒪(n³d³) 降低至近线性规模，实现了高效贝叶斯优化和高维大规模问题的求解。该方法通过快速矩阵-向量乘法和有效的预条件化加速矩阵运算。

ABSTRACT

Gaussian processes (GPs) with derivatives are useful in many applications, including Bayesian optimization, implicit surface reconstruction, and terrain reconstruction. Fitting a GP to function values and derivatives at $n$ points in $d$ dimensions requires linear solves and log determinants with an ${n(d+1) imes n(d+1)}$ positive definite matrix-- leading to prohibitive $\mathcal{O}(n^3d^3)$ computations for standard direct methods. We propose iterative solvers using fast $\mathcal{O}(nd)$ matrix-vector multiplications (MVMs), together with pivoted Cholesky preconditioning that cuts the iterations to convergence by several orders of magnitude, allowing for fast kernel learning and prediction. Our approaches, together with dimensionality reduction, allows us to scale Bayesian optimization with derivatives to high-dimensional problems and large evaluation budgets.

研究动机与目标

• 解决在高维设置下拟合函数值和导数的高斯过程时计算成本过高的问题。
• 降低标准直接方法在求解带导数的高斯过程回归时的 O(n³d³) 复杂度。
• 利用导数信息实现可扩展的贝叶斯优化和大规模评估预算下的应用。
• 开发高效的迭代求解器，结合快速矩阵-向量乘法和有效预条件化，以应对大规模核学习问题。

提出的方法

• 利用迭代Krylov子空间求解器（如共轭梯度法）求解高斯过程回归中导数信息带来的线性系统。
• 采用 O(nd) 快速矩阵-向量乘法加速核函数评估和线性求解过程。
• 对 n(d+1) × n(d+1) 协方差矩阵应用选主元Cholesky预条件化，显著减少收敛所需的迭代次数。
• 将迭代求解器与选主元Cholesky预条件化相结合，实现大规模高斯过程推理的近最优收敛速度。
• 集成降维技术，进一步将该方法扩展至高维输入空间。

实验结果

研究问题

• RQ1 结合快速矩阵-向量乘法的迭代求解器能否显著降低带导数的高斯过程回归的计算负担？
• RQ2 选主元Cholesky预条件化在导数信息驱动的高斯过程回归中，能在多大程度上加速收敛？
• RQ3 所提出的方法能否实现高维问题和大规模评估预算下带导数的贝叶斯优化的可扩展性？
• RQ4 与标准直接方法相比，迭代求解器与预条件化结合的方法在可扩展性和准确性方面表现如何？

主要发现

• 所提方法将带导数的高斯过程回归的计算复杂度从 O(n³d³) 降低至关于 n 和 d 的近线性规模。
• 选主元Cholesky预条件化将共轭梯度法的迭代次数减少了几个数量级，从而实现快速收敛。
• 该方法支持在高维问题和大规模评估预算下实现可扩展的带导数贝叶斯优化。
• 快速矩阵-向量乘法实现了高效的核学习与预测，使大规模导数信息驱动的高斯过程回归成为可能。