[论文解读] The Extended Parameter Filter

Yusuf Bugra Erol, Lei Li+2 more|arXiv (Cornell University)|May 8, 2013

Target Tracking and Data Fusion in Sensor Networks参考文献 16被引用 4

一句话总结

该论文提出了一种新型算法——扩展参数滤波器（EPF），通过结合吉布斯采样与泰勒近似，实现了在时序模型中静态参数的高效贝叶斯推断，从而保持固定维数的充分统计量。通过多项式展开近似参数后验分布，并在参数空间中采用类似卡尔曼滤波的更新机制，EPF 实现了每个样本的常数时间更新，显著优于粒子滤波器和粒子 MCMC 方法，尤其在高维与非线性场景下表现更优。

ABSTRACT

The parameters of temporal models, such as dynamic Bayesian networks, may be modelled in a Bayesian context as static or atemporal variables that influence transition probabilities at every time step. Particle filters fail for models that include such variables, while methods that use Gibbs sampling of parameter variables may incur a per-sample cost that grows linearly with the length of the observation sequence. Storvik devised a method for incremental computation of exact sufficient statistics that, for some cases, reduces the per-sample cost to a constant. In this paper, we demonstrate a connection between Storvik's filter and a Kalman filter in parameter space and establish more general conditions under which Storvik's filter works. Drawing on an analogy to the extended Kalman filter, we develop and analyze, both theoretically and experimentally, a Taylor approximation to the parameter posterior that allows Storvik's method to be applied to a broader class of models. Our experiments on both synthetic examples and real applications show improvement over existing methods.

研究动机与目标

• 解决在动态贝叶斯网络中估计静态参数时粒子滤波器的退化问题。
• 克服现有方法（如粒子 MCMC 和重采样-移动算法）在计算成本上随时间 T 线性增长的局限。
• 开发一种适用于非线性、非高斯模型中静态参数的通用推断框架。
• 在高维参数空间中实现高效推断，并具备可证明的收敛性与误差界。
• 通过近似技术将斯托尔维克（Storvik）的精确充分统计量方法推广至更广泛的模型类别。

提出的方法

• 将参数估计问题建模为参数空间中的滤波问题，将静态参数视为潜变量。
• 建立斯托尔维克滤波器与卡尔曼滤波器之间的联系，表明斯托尔维克方法是参数空间中卡尔曼滤波的一个特例。
• 提出扩展参数滤波器（EPF）作为一般化方法，利用参数后验分布的泰勒近似，使其可应用于非线性模型。
• 使用多项式近似（如泰勒展开）构建可分离的、固定维数的充分统计量，实现在常数时间内更新。
• 在每个时间步使用吉布斯采样更新参数值，利用 EPF 提供的近似后验分布指导提议分布。
• 对对数多项式近似后验分布应用随机游走的梅特罗波利斯-黑斯廷斯（Metropolis–Hastings）算法，每个时间步仅执行一次 MH 步骤，无需预 burn-in 阶段。

实验结果

研究问题

• RQ1 斯托尔维克的精确充分统计量方法能否推广至非线性参数模型之外？
• RQ2 在非线性、非高斯模型中，泰勒近似在多大程度上能实现高效且常数时间的参数更新？
• RQ3 在高维或重尾分布设置下，EPF 与粒子滤波器及粒子 MCMC 方法在性能与计算效率上的对比如何？
• RQ4 近似阶数（如 9 阶或 10 阶）对参数估计的收敛速度与精度有何影响？
• RQ5 EPF 能否处理具有非可分、非线性参数依赖关系的模型，例如平滑转换自回归（STAR）模型中的逻辑斯蒂过渡函数？

主要发现

• EPF 实现了每个样本的常数时间更新，时间复杂度为 $O(NT)$，与观测序列长度 $T$ 无关。
• 在柯西动力系统中，使用 100 个粒子与 10 阶近似的 EPF 成功收敛至真实参数 $a = 0.7$，而粒子滤波器与刘-韦斯特滤波器未能收敛或收敛极慢。
• 在平滑转换自回归（STAR）模型中，使用 100 个粒子与 9 阶近似的 EPF 准确估计出真实参数 $ heta = (1, 3)$，而刘-韦斯特滤波器即使使用 50,000 个粒子也未收敛。
• EPF 在合成模型与真实世界模型中均表现出快速收敛与稳定性能，包括具有重尾噪声与非线性参数依赖关系的模型。
• 该方法保持了可证明的误差界，并通过从近似后验分布中进行梅特罗波利斯-黑斯廷斯采样，支持高效采样，具备实际部署能力。
• 在计算效率与准确性方面，EPF 显著优于现有方法，尤其在粒子滤波器发生退化的高维或复杂参数空间中表现更优。