[论文解读] Noise Estimation in Gaussian Process Regression

Siavash Ameli, Shawn C. Shadden|arXiv (Cornell University)|Jun 20, 2022

Gaussian Processes and Bayesian Inference被引用 5

一句话总结

本文提出了一种计算高效的高斯过程回归噪声和相关误差方差估计方法，通过将超参数估计问题简化为单变量求根任务，实现稳健且可扩展的参数估计，而无需依赖高维空间中的迭代优化。

ABSTRACT

We develop a computational procedure to estimate the covariance hyperparameters for semiparametric Gaussian process regression models with additive noise. Namely, the presented method can be used to efficiently estimate the variance of the correlated error, and the variance of the noise based on maximizing a marginal likelihood function. Our method involves suitably reducing the dimensionality of the hyperparameter space to simplify the estimation procedure to a univariate root-finding problem. Moreover, we derive bounds and asymptotes of the marginal likelihood function and its derivatives, which are useful to narrowing the initial range of the hyperparameter search. Using numerical examples, we demonstrate the computational advantages and robustness of the presented approach compared to traditional parameter optimization.

研究动机与目标

• 解决高斯过程回归中带有加法噪声时高维超参数优化的计算挑战。
• 在半参数模型中实现相关误差方差与独立同分布噪声方差的稳健且高效的联合估计。
• 通过轮廓化技术将多变量优化问题简化为单变量求根问题。
• 推导边际似然及其导数的解析边界和渐近行为，以缩小搜索区间。
• 与传统的基于梯度或全局优化方法相比，提升收敛速度和计算效率。

提出的方法

• 该方法通过轮廓化处理噪声和相关误差方差，将超参数空间缩减，从而将问题转化为单变量求根任务。
• 利用具有混合协方差结构的高斯过程模型的边际似然函数：$\Sigma = \sigma^2 K(\mathbf{x},\mathbf{x}'|\boldsymbol{\theta}) + \sigma_0^2 I(\mathbf{x},\mathbf{x}')$。
• 在 $\eta = \sigma^2 / \sigma_0^2$ 很大的极限下，推导出边际似然及其导数的渐近展开，从而在搜索空间上获得解析边界。
• 在渐近区域内，使用诺伊曼级数展开来近似逆协方差矩阵和投影算子。
• 使用投影矩阵 $\mathbf{Q} = \mathbf{X}(\mathbf{X}^\top\mathbf{X})^{-1}\mathbf{X}^\top$ 及其正交补 $\mathbf{Q}_\perp = \mathbf{I} - \mathbf{Q}$ 对问题进行分解。
• 关键组成部分包括 $\mathbf{P}_\eta = \mathbf{K}_\eta^{-1}\mathbf{X}(\mathbf{X}^\top\mathbf{K}_\eta^{-1}\mathbf{X})^{-1}\mathbf{X}^\top\mathbf{K}_\eta^{-1}$ 和 $\mathbf{M}_{1,\eta} = \mathbf{K}_\eta^{-1}\mathbf{P}_\eta$ 的渐近展开，其形式在 $\eta^{-1}$ 的幂级数中得以简化。

实验结果

研究问题

• RQ1 高斯过程回归中噪声与相关误差方差的联合估计能否被简化为单变量求根问题？
• RQ2 在信噪比很大的极限下，边际似然及其导数的渐近行为如何？
• RQ3 如何利用边际似然的解析边界来提升超参数优化的鲁棒性？
• RQ4 与传统优化技术相比，所提方法在收敛性和计算成本方面是否表现更优？
• RQ5 在病态或高维设计矩阵下，该方法的稳定性和准确性在多大程度上仍能保持？

主要发现

• 该方法将原始的多变量优化问题简化为单变量求根问题，显著降低了计算复杂度。
• 推导出边际似然及其导数的渐近展开，精确至 $\mathcal{O}(\eta^{-3})$，从而实现对搜索空间的精确边界约束。
• 投影矩阵 $\mathbf{P}_\eta$ 的渐近展开为 $\mathbf{P}_\eta = \mathbf{Q} + \frac{1}{\eta}\mathbf{Q}_\perp\mathbf{K}\mathbf{Q} - \frac{1}{\eta^2}\mathbf{Q}_\perp(\mathbf{K}\mathbf{Q})^2 + \mathcal{O}(\eta^{-3})$。
• 矩阵 $\mathbf{M}_{1,\eta} = \mathbf{K}_\eta^{-1}\mathbf{P}_\eta$ 被证明可简化为 $\frac{1}{\eta}\mathbf{Q}(\mathbf{I} - \frac{1}{\eta}\mathbf{K}\mathbf{Q} + \frac{1}{\eta^2}(\mathbf{K}\mathbf{Q})^2) + \mathcal{O}(\eta^{-4})$。
• 数值实验表明，与标准优化方法相比，该方法在高维或病态设置下展现出更优的计算效率和鲁棒性。