[论文解读] State Space Expectation Propagation: Efficient Inference Schemes for Temporal Gaussian Processes

William J. Wilkinson, Paul E. Chang+2 more|arXiv (Cornell University)|Jul 12, 2020

Gaussian Processes and Bayesian Inference被引用 4

一句话总结

本文提出状态空间期望传播（SSEP），一种统一框架，将时间与时空高斯过程中的近似贝叶斯推断表述为迭代的卡尔曼平滑更新。通过在状态空间模型中重构期望传播（EP），该方法实现了线性时间推断，结合了EP的精度与线性化的效率，并在多种似然函数和数据结构下实现了可扩展的高维推断，且在音频、分类和空间点过程任务上获得了实证验证。

ABSTRACT

We formulate approximate Bayesian inference in non-conjugate temporal and spatio-temporal Gaussian process models as a simple parameter update rule applied during Kalman smoothing. This viewpoint encompasses most inference schemes, including expectation propagation (EP), the classical (Extended, Unscented, etc.) Kalman smoothers, and variational inference. We provide a unifying perspective on these algorithms, showing how replacing the power EP moment matching step with linearisation recovers the classical smoothers. EP provides some benefits over the traditional methods via introduction of the so-called cavity distribution, and we combine these benefits with the computational efficiency of linearisation, providing extensive empirical analysis demonstrating the efficacy of various algorithms under this unifying framework. We provide a fast implementation of all methods in JAX.

研究动机与目标

• 通过在状态空间框架下统一近似推断方法，解决高斯过程中非共轭似然函数的计算不可行性问题。
• 通过利用随机微分方程（SDE）表示与卡尔曼滤波，克服标准高斯过程在大规模时间序列中立方级的计算复杂度。
• 通过将一个维度视为序列化处理，即使其本身并非时间维度，也实现对高维时空问题的高效可扩展推断。
• 提供一个灵活统一的实现框架，支持多种推断方案（EP、EKF、UKF、VI），仅需极少代码修改。
• 在非高斯似然函数下，证明基于迭代线性化的推断（如EEP）在精度与稳定性上优于标准EP与VI。

提出的方法

• 将高斯过程模型重新表述为连续时间随机微分方程（SDE），通过卡尔曼滤波与平滑实现精确的线性时间推断。
• 将期望传播（EP）表达为带有空腔分布的卡尔曼平滑器，以线性化替代矩匹配，实现与经典平滑器的统一。
• 提出一种迭代推断方案——扩展期望传播（EEP），通过多轮迭代优化线性化，提升精度，优于标准EKF。
• 对泰勒展开不准确的似然函数，采用立方点进行统计线性化，实现鲁棒性与效率的平衡。
• 通过将一个维度视为序列化（如将空间网格视为时间），将框架扩展至多维输入，实现在该维度上的线性时间推断。
• 在JAX中实现所有方法，支持高性能、可微分与可组合的推断，具备自动微分与GPU加速能力。

实验结果

研究问题

• RQ1 期望传播能否在单一状态空间推断框架下与经典卡尔曼平滑与滤波方法统一？
• RQ2 在非共轭高斯过程模型中，用线性化替代EP的矩匹配，对推断精度与计算效率有何影响？
• RQ3 该状态空间框架在具有非高斯似然函数的高维时空问题中，其可扩展性如何？
• RQ4 在何种场景下，迭代线性化（如EEP）在精度与稳定性上优于标准EP与变分推断？
• RQ5 能否通过将某一维度视为序列化，将该框架推广至多维问题，而不仅限于一维时间序列？

主要发现

• 所提出的SSEP框架在单一卡尔曼平滑公式下统一了EP、EKF、UKF与变分推断，实现了稳定且高效的推断。
• 在香蕉分类任务中，迭代3次的扩展期望传播（EEP）表现优异，精度接近VGP基线，且在准确率与稳定性上均优于EP与VI。
• 在6维似然函数站点的音频分类任务中，由于每数据点的似然评估次数更少，EEP比基于立方点的方法更快。
• 在包含12.5万个点的热带雨林空间点过程任务中，EEP在250维站点参数下仍能有效扩展，而大多数方法因高维更新变得不切实际。
• 该方法在多维问题的序列化维度上实现了线性时间推断，使大规模网格（如500×250的空间网格，500个时间步）上的可扩展推断成为可能。
• 当似然函数高度非线性且空腔方差较大时，基于立方点的方法比线性化更鲁棒，但其在高维下扩展性差，凸显了鲁棒性与可扩展性之间的权衡。