[论文解读] Online state and parameter estimation in Dynamic Generalised Linear Models

Rui Miguel Vieira, Darren J. Wilkinson|arXiv (Cornell University)|Aug 30, 2016

Gaussian Processes and Bayesian Inference参考文献 15被引用 4

一句话总结

本文提出使用序贯蒙特卡洛（SMC）方法对动态广义线性模型（DGLMs）进行在线贝叶斯推断，比较了基于充分统计量的方法与Liu和West粒子滤波方法。结果表明，充分统计量方法可延迟粒子贫化，降低状态与参数估计的均方误差，并实现更准确的长周期预测——尽管计算成本更高，但在具有复杂时间结构的流数据上，其预测精度仍优于Liu和West方法。

ABSTRACT

Inference for streaming time-series is tightly coupled with the problem of Bayesian on-line state and parameter inference. In this paper we will introduce Dynamic Generalised Linear Models, the class of models often chosen to model continuous and discrete time-series data. We will look at three different approaches which allow on-line estimation and analyse the results when applied to different real world datasets related to inference for streaming data. Sufficient statistics based methods delay known problems, such as particle impoverishment, especially when applied to long running time-series, while providing reasonable parameter estimations when compared to exact methods, such as Particle Marginal Metropolis-Hastings. State and observation forecasts will also be analysed as a performance metric. By benchmarking against a "gold standard" (off-line) method, we can better understand the performance of on-line methods in challenging real-world scenarios.

研究动机与目标

• 解决在具有复杂非线性模式的流时间序列数据中实现实时贝叶斯推断的挑战。
• 在真实世界数据集上评估并比较在线SMC方法（特别是基于充分统计量的滤波器、Storvik方法和Liu与West粒子滤波）的性能。
• 评估在长时间运行的时间序列中，计算效率、估计精度与对粒子贫化的鲁棒性之间的权衡。
• 将在线方法与金标准离线方法（粒子边缘马尔可夫链蒙特卡洛，PMMH）进行基准对比，以评估状态与参数估计的准确性。
• 评估不同在线推断策略下状态与观测预测的性能表现。

提出的方法

• 使用动态广义线性模型（DGLMs）对具有灵活观测分布与系统分布的时间序列数据进行建模，涵盖泊松与高斯族分布。
• 在贝叶斯框架下，采用带重采样的序贯蒙特卡洛（SMC）方法，实现在线状态与参数估计。
• 采用基于充分统计量的滤波方法，将参数估计与状态空间解耦，从而减少粒子退化并延迟贫化。
• 实现三种在线推断算法：Liu与West（LW）粒子滤波、Storvik的辅助粒子滤波，以及基于充分统计量的SMC方法。
• 为方差参数采用对数正态先验，为协方差矩阵采用逆威沙特先验，以在DGLM框架中实现共轭更新。
• 在LW滤波器中使用平滑参数（δ = 0.98）以稳定参数更新并降低粒子权重的方差。

实验结果

研究问题

• RQ1 在长时间运行的时间序列中，基于充分统计量的SMC方法与Liu和West粒子滤波在状态估计精度与对粒子贫化的鲁棒性方面有何差异？
• RQ2 当与金标准粒子边缘马尔可夫链蒙特卡洛（PMMH）方法对比时，在线SMC方法在参数估计准确性方面能达到何种程度？
• RQ3 在真实世界的流数据中，基于充分统计量的方法能否在长周期（如6天）内维持可靠的预测状态与观测预测？
• RQ4 在DGLMs中，不同在线SMC方法在计算成本与估计精度之间的权衡如何？
• RQ5 不同的重采样策略与粒子数量（Np）如何影响DGLMs中在线推断的稳定性与性能？

主要发现

• 基于充分统计量的SMC方法在状态估计中实现了显著更低的均方误差（MSE）——例如，θ¹的MSE为0.2609，远低于Liu与West的3.283，表明其估计精度更高。
• Liu与West滤波器因早期发生粒子坍塌，导致参数估计质量差，后验方差估计与PMMH基准值显著偏离。
• 充分统计量方法延迟了粒子贫化，在5000次迭代后仍能保持稳定的参数估计，而Liu与West方法在数百次迭代后即发生坍塌。
• 在600步（约6天）的预测时域内，仅基于充分统计量的方法能准确捕捉季节性模式，而Liu与West方法未能跟踪趋势。
• 在Np = 1000时，充分统计量方法在大多数状态下MSE均低于0.3，表明其在低粒子数下仍具鲁棒性，且每次迭代计算时间低于1毫秒。
• 尽管计算成本更高，Liu与West方法在速度上表现最优（4.626 ms/迭代），但其估计质量差，因此不适合用于可靠推断。