[论文解读] Overcoming Mean-Field Approximations in Recurrent Gaussian Process Models

Alessandro Davide Ialongo, Mark van der Wilk+2 more|arXiv (Cornell University)|Jan 1, 2019

Gaussian Processes and Bayesian Inference被引用 10

一句话总结

该论文提出VCDT，一种用于高斯过程状态空间模型的新型变分推断方法，通过显式耦合潜在轨迹与GP转移函数后验，消除了平均场近似。通过建模状态与动力学之间的依赖关系，VCDT在不增加计算复杂度的情况下，实现了比平均场基线方法更优的预测性能和更校准的不确定性估计。

ABSTRACT

We identify a new variational inference scheme for dynamical systems whose transition function is modelled by a Gaussian process. Inference in this setting has either employed computationally intensive MCMC methods, or relied on factorisations of the variational posterior. As we demonstrate in our experiments, the factorisation between latent system states and transition function can lead to a miscalibrated posterior and to learning unnecessarily large noise terms. We eliminate this factorisation by explicitly modelling the dependence between state trajectories and the Gaussian process posterior. Samples of the latent states can then be tractably generated by conditioning on this representation. The method we obtain (VCDT: variationally coupled dynamics and trajectories) gives better predictive performance and more calibrated estimates of the transition function, yet maintains the same time and space complexities as mean-field methods. Code is available at: github.com/ialong/GPt.

研究动机与目标

• 为解决循环GP模型中平均场变分推断的局限性，后者常导致后验校准不足和噪声高估。
• 开发一种计算高效的推断方案，在保持平均场方法可扩展性的同时，消除潜在状态与转移函数之间独立性假设。
• 在贝叶斯动力系统中提升不确定性量化与预测性能，尤其在低数据场景下。
• 提供更准确的后验近似，更好地反映系统轨迹与转移动力学之间的真实依赖关系。

提出的方法

• 提出一种非因子化变分后验，通过将状态后验基于GP的诱导变量u进行条件化，显式建模潜在状态轨迹X与GP转移函数f之间的依赖关系。
• 采用结构化变分近似q(X | u, f)，利用GP后验的低秩结构，保持O(NM²)的时间与空间复杂度，与平均场方法一致。
• 使用识别模型来参数化给定GP诱导变量的条件后验，支持端到端训练。
• 推导出考虑状态与动力学联合后验的变分下界，避免因因子化q(X)q(f)引入的偏差。
• 利用蒙特卡洛采样进行随机梯度优化，以近似变分目标中的期望，确保可计算性。
• 引入双重随机推断方案，实现在保持标准变分GP方法计算效率的同时，实现高效的梯度估计。

实验结果

研究问题

• RQ1 在GPSSM中，若移除潜在状态与转移函数之间的平均场假设，是否能改善后验校准？
• RQ2 能否构建一种计算复杂度与平均场方法相同的非因子化变分后验？
• RQ3 与现有方法相比，该方法在预测性能与不确定性估计方面表现如何？
• RQ4 该方法是否能降低平均场推断在动力系统中高估过程噪声的倾向？

主要发现

• VCDT在预测性能上显著优于平均场基线方法，在Cart and Pole基准上，NLPP指标相比最佳因子化方法提升了2.5倍。
• 与因子化方法相比，该方法将学习到的过程噪声标准差降低了最多50%，表明通过动力学而非噪声更好地解释了数据。
• 在系统辨识基准上，VCDT在NLPP与RMSE指标上均优于所有GPSSM基线方法，尤其在高噪声环境下，校准度至关重要。
• VCDT的后验比因子化方法更校准，后者因独立性假设导致预测过于自信且系统动力学系统性不准确。
• 即使在短序列、低噪声场景（如Cart and Pole系统）中，VCDT也与PR-SSM（特例）性能相当，同时保持完整的贝叶斯不确定性量化。
• 该方法与平均场方法保持相同的O(NM²)时间与空间复杂度，支持长序列的可扩展性，无近似开销。