[论文解读] State Space representation of non-stationary Gaussian Processes

Alessio Benavoli, Marco Zaffalon|arXiv (Cornell University)|Jan 7, 2016

Gaussian Processes and Bayesian Inference参考文献 6被引用 5

一句话总结

本文通过利用线性时变状态空间模型的瞬态行为，提出了一种非平稳高斯过程（GPs）的状态空间（SS）表示方法，实现了 O(n) 的推理复杂度。该方法成功地通过拉普拉斯变换将非平稳核函数——包括周期性、样条、线性回归和神经网络核函数——映射为状态空间形式，在长时序数据（如太阳黑子数据，58,306 个观测值，1.5 小时运行时间）上展示了计算效率与准确性。

ABSTRACT

The state space (SS) representation of Gaussian processes (GP) has recently gained a lot of interest. The main reason is that it allows to compute GPs based inferences in O(n), where $n$ is the number of observations. This implementation makes GPs suitable for Big Data. For this reason, it is important to provide a SS representation of the most important kernels used in machine learning. The aim of this paper is to show how to exploit the transient behaviour of SS models to map non-stationary kernels to SS models.

研究动机与目标

• 通过状态空间模型实现 O(n) 推理，解决标准 GP 推理中 O(n³) 的计算瓶颈。
• 将现有 GP 的状态空间表示从先前仅限于平稳核函数，扩展到周期性、样条和神经网络核函数等非平稳核函数。
• 利用线性时变状态空间模型的瞬态响应来捕捉非平稳行为，而这类行为在平稳系统中通常被忽略。
• 提供一个系统化的框架，通过拉普拉斯变换将广泛类别的机器学习核函数映射为状态空间形式，确保解析可解性与计算效率。
• 在真实世界长时序数据（如太阳黑子数量）上验证该方法的有效性，以证明其可扩展性与准确性。

提出的方法

• 将高斯过程表示为连续时间下的随机微分方程（SDEs），采用具有时变系统矩阵 F(t)、L(t) 和 C(t) 的线性时变状态空间模型。
• 利用拉普拉斯变换捕捉系统的瞬态行为，这对于建模非平稳核函数至关重要，因为在这些情况下初始条件响应和驱动响应不会消失。
• 通过拉普拉斯域分析推导特定核函数（如周期性、样条、线性回归）对应的 SDE 和状态转移矩阵，构建其状态空间模型。
• 利用线性时变 SS 模型将神经网络核函数映射为状态空间形式，这些模型本身具有非平稳性，能够捕捉复杂且非平稳的协方差结构。
• 通过卡尔曼滤波（在线估计）和卡尔曼平滑（离线估计）实现推理，二者均因状态空间结构而实现 O(n) 的线性复杂度。
• 在贝叶斯框架内采用 Rao-Blackwellised 粒子滤波方法估计超参数，从而实现从数据中稳健学习核函数参数。

实验结果

研究问题

• RQ1 如何系统性地将非平稳高斯过程核函数表示为状态空间形式，以实现高效推理？
• RQ2 线性时变状态空间模型的瞬态行为在建模非平稳协方差函数中起到何种作用？
• RQ3 拉普拉斯变换是否可作为比傅里叶变换更通用的工具，用于将更广泛的非平稳核函数映射为状态空间模型？
• RQ4 状态空间表示的 GP 在长时序数据（如太阳黑子数据）上在多大程度上能实现 O(n) 的计算复杂度？
• RQ5 基于周期性和神经网络核函数的状态空间模型在近似复杂、非周期性或非光滑函数（如锯齿波和高斯密度）方面表现如何？

主要发现

• 所提出的方法通过将高斯过程表示为线性时变状态空间模型，实现了 O(n) 推理，与标准 O(n³) GP 推理相比显著降低了计算成本。
• 状态空间模型的瞬态响应在建模非平稳核函数中起着关键作用；与瞬态消失的平稳系统不同，非平稳情况下瞬态持续存在并塑造系统行为。
• 利用拉普拉斯变换可建立统一且解析的框架，将非平稳核函数（包括周期性、样条和神经网络核函数）映射为状态空间形式。
• 对于锯齿波，采用 J=6 个余弦分量的周期性 SS 模型实现了高度准确的后验估计，证明了该模型捕捉非光滑周期函数的能力。
• 神经网络 SS 模型成功近似了高斯密度的尾部，且随着逼近阶数的提高（J=10 到 J=20），精度进一步提升。
• 在长太阳黑子时序数据（58,306 个观测值）上，采用 J=8 个分量的周期性 SS 模型估计出周期长度为 10.36 年，且在普通笔记本电脑上仅用 1.5 小时完成推理，证实了其在大数据场景下的可扩展性与实用性。