[论文解读] Non-Stationary Gaussian Process Regression with Hamiltonian Monte Carlo

Markus Heinonen, Henrik Mannerström+3 more|arXiv (Cornell University)|Aug 18, 2015

Gaussian Processes and Bayesian Inference参考文献 15被引用 42

一句话总结

本文提出了一种完全非平稳的高斯过程回归模型，其中噪声方差、信号方差和长度尺度均为输入相关，通过使用解析梯度的哈密顿蒙特卡洛（HMC）方法进行学习。该方法实现了无需变分近似的精确贝叶斯推断，在捕捉输入相关动态方面优于平稳及先验非平稳模型，尤其在时间基因表达数据中表现更优。

ABSTRACT

We present a novel approach for fully non-stationary Gaussian process regression (GPR), where all three key parameters -- noise variance, signal variance and lengthscale -- can be simultaneously input-dependent. We develop gradient-based inference methods to learn the unknown function and the non-stationary model parameters, without requiring any model approximations. We propose to infer full parameter posterior with Hamiltonian Monte Carlo (HMC), which conveniently extends the analytical gradient-based GPR learning by guiding the sampling with model gradients. We also learn the MAP solution from the posterior by gradient ascent. In experiments on several synthetic datasets and in modelling of temporal gene expression, the nonstationary GPR is shown to be necessary for modeling realistic input-dependent dynamics, while it performs comparably to conventional stationary or previous non-stationary GPR models otherwise.

研究动机与目标

• 开发一种完全非平稳的高斯过程回归框架，其中噪声方差、信号方差和长度尺度均为输入相关。
• 在不使用变分或期望传播近似的情况下，实现对潜在函数和模型参数后验分布的精确贝叶斯推断。
• 利用哈密顿蒙特卡洛（HMC）中的解析梯度，实现高效的后验抽样和最大后验估计（MAP）的梯度上升。
• 证明非平稳建模在捕捉真实输入相关动态中的必要性，特别是在生物时间序列数据中。

提出的方法

• 将长度尺度、信号方差和噪声方差的对数建模为具有平方指数核的独立高斯过程，以确保其正值。
• 使用依赖于输入特定信号方差 σ(x)、长度尺度 ℓ(x) 和噪声方差 ω(x)² 的非平稳平方指数核。
• 推导出边际对数似然相对于无约束潜在函数（log-ℓ, log-σ, log-ω）的解析梯度，用于HMC和梯度上升。
• 采用HMC-NUTS进行后验抽样，由解析梯度引导，实现对高维后验分布的高效探索。
• 通过先验协方差矩阵的Cholesky分解对后验进行白化处理，以提高采样效率。
• 通过在潜在函数和超参数的联合后验上进行积分，计算预测分布。

实验结果

研究问题

• RQ1 具有输入相关噪声、信号方差和长度尺度的完全非平稳GP模型，是否能比平稳或部分非平稳模型更好地捕捉真实输入相关动态？
• RQ2 在不使用变分近似的情况下，基于解析梯度的HMC是否能在完全非平稳GP框架中实现高效且准确的后验推断？
• RQ3 与基线平稳和非平稳GP模型相比，该方法在具有已知非平稳动态的合成数据上的表现如何？
• RQ4 该模型能否有效捕捉真实生物时间序列数据（如时间基因表达）中变化的平滑性和噪声特性？

主要发现

• 所提出的非平稳GP模型对于准确建模真实输入相关动态是必要的，特别是在信号平滑性和噪声方差随时间变化的系统中。
• 在具有已知非平稳行为的合成数据集上，该模型成功恢复了真实的输入相关信号方差、长度尺度和噪声方差。
• 在时间基因表达数据中，非平稳模型捕捉到了初始快速变化随后趋于平滑的动态，而平稳模型无法有效表示此类特征。
• 在非平稳性不占主导地位的数据集上，基于HMC的推断在预测性能上与传统平稳模型及先前的非平稳GP模型相当。
• 在HMC中使用解析梯度可实现高效的采样和准确的后验探索，避免了变分近似带来的不准确性。
• 通过梯度上升从后验中获得的MAP解，在预测准确性方面与完整后验抽样结果相当。