[论文解读] Non-Factorised Variational Inference in Dynamical Systems
本文提出了一种用于高斯过程状态空间模型（GPSSMs）的非因子化变分推断方法，以改善动态系统中的不确定性校准。通过将潜在状态后验分布建模为依赖于完整GP转移函数（而非在状态或诱导点上因子化），该方法避免了在长序列中出现过度自信的预测，实验表明其不确定性量化性能优于标准的因子化方法。
We focus on variational inference in dynamical systems where the discrete time transition function (or evolution rule) is modelled by a Gaussian process. The dominant approach so far has been to use a factorised posterior distribution, decoupling the transition function from the system states. This is not exact in general and can lead to an overconfident posterior over the transition function as well as an overestimation of the intrinsic stochasticity of the system (process noise). We propose a new method that addresses these issues and incurs no additional computational costs.
研究动机与目标
- 解决因子化变分推断在GPSSMs中常见的过度自信与不确定性校准不佳问题。
- 研究后验因子化选择如何影响具有非线性动态的时间序列模型中的不确定性估计。
- 开发一种可扩展的推断方法，在保持完整GP后验依赖关系的同时避免序列长度带来的立方级计算成本。
- 在预测不确定性与模型拟合度方面，将非因子化后验与标准因子化方法及基于诱导点的替代方法进行比较。
- 评估不同后验结构对学习到的动力学特性及潜在状态轨迹中不确定性传播的影响。
提出的方法
- 提出一种非因子化变分后验，其中潜在状态分布依赖于完整的GP转移函数，而不仅依赖于诱导点或独立因子。
- 采用马尔可夫结构表示条件状态后验：$ q(\mathbf{x}_{t+1} \mid f, \mathbf{x}_t) $，以保留时间依赖性。
- 使用诱导点来近似GP先验，通过 $ q(f) = p(f^\setminus\mathbf{u} \mid \mathbf{u}) q(\mathbf{u}) $ 实现可计算的推断。
- 引入两种可扩展的近似方法：'分块'（chunking）以限制条件集大小，以及'U-因子化'（U-factorisation）仅对诱导点 $ \mathbf{u} $ 进行条件化。
- 使用蒙特卡洛采样计算变分下界中的期望，并在数据块上进行双重随机优化。
- 对转移函数 $ f $ 使用非参数GP先验，从而实现灵活的非线性动态建模并提供不确定性估计。
实验结果
研究问题
- RQ1与标准因子化方法相比，非因子化变分推断在GPSSMs中如何改善不确定性校准？
- RQ2将潜在状态后验条件化于完整GP函数与仅条件化于诱导点相比，其影响是什么？
- RQ3非因子化后验是否能在不增加计算成本的前提下，保持长序列中的准确不确定性估计？
- RQ4不同的后验因子化选择如何影响学习到的动力学特性与预测性能？
- RQ5在变分GPSSM推断中，计算效率与不确定性质量之间存在何种权衡？
主要发现
- 与因子化方法相比，非因子化后验显著降低了不确定性估计中的过度自信，尤其是在数据稀疏区域。
- 当使用100个诱导点时，仅对诱导点进行条件化的U-因子化方法在性能上与完整非因子化后验相当。
- 因子化模型产生了几乎相同的结果，表明核心问题源于因子化假设本身，而非具体实现方式。
- U-因子化方法实现了高效且可扩展的推断，计算复杂度与序列长度呈线性关系，避免了完整GP条件化带来的立方级成本。
- 非因子化后验成功捕捉了复杂非线性动态，且不确定性校准良好，如轮廓图中准确的95%置信区间所示。
- 在拐点转移函数实验中，非因子化与U-因子化后验在视觉上与真实后验无法区分，而因子化模型则表现出过度自信且校准不佳的不确定性。
更好的研究，从现在开始
从阅读论文到最终审阅，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。