[论文解读] Unbiased Smoothing using Particle Independent Metropolis-Hastings

Lawrence Middleton, George Deligiannidis+2 more|arXiv (Cornell University)|Feb 5, 2019

Markov Chains and Monte Carlo Methods被引用 16

一句话总结

本文提出了一种新颖且易于实现的方法，通过使用公共随机数和耦合重采样方案，将两个独立的粒子独立马尔可夫链蒙特卡洛（PIMH）链耦合，实现状态空间模型中无偏贝叶斯平滑。该方法无需修改现有粒子滤波器即可生成平滑期望的无偏估计量，支持并行计算中的有效置信区间，并在实际可用性和理论鲁棒性方面优于有偏替代方法。

ABSTRACT

We consider the approximation of expectations with respect to the distribution of a latent Markov process given noisy measurements. This is known as the smoothing problem and is often approached with particle and Markov chain Monte Carlo (MCMC) methods. These methods provide consistent but biased estimators when run for a finite time. We propose a simple way of coupling two MCMC chains built using Particle Independent Metropolis-Hastings (PIMH) to produce unbiased smoothing estimators. Unbiased estimators are appealing in the context of parallel computing, and facilitate the construction of confidence intervals. The proposed scheme only requires access to off-the-shelf Particle Filters (PF) and is thus easier to implement than recently proposed unbiased smoothers. The approach is demonstrated on a Lévy-driven stochastic volatility model and a stochastic kinetic model.

研究动机与目标

• 开发一种针对给定噪声观测下隐马尔可夫过程后验分布下期望的无偏估计量，该问题被称为平滑。
• 解决标准粒子方法和MCMC方法的局限性，即在有限时间内运行时产生一致但有偏的估计量。
• 提供一种实用且模块化的解决方案，仅需访问现成的粒子滤波器，避免复杂的算法修改。
• 通过利用无偏估计量，在并行计算环境中实现渐近有效的置信区间。
• 将无偏平滑的适用范围扩展至过渡核中包含随机数量随机变量的模型，此类模型中先前方法会失效。

提出的方法

• 通过使用公共随机数和同步重采样策略，将两个独立的PIMH链耦合，以在马尔可夫链中诱导耦合。
• 在PIMH算法中利用标准粒子滤波器（PF）作为提议机制，无需对底层PF实现进行任何修改。
• 耦合确保两个链以几乎必然的概率在有限时间内相遇，从而可应用伯努利竞赛技巧生成无偏估计量。
• 利用两条链的相遇时间构造无偏估计量，通过停止时间方案确保估计量无偏。
• 该方法对过渡核中随机变量数量为随机的模型具有鲁棒性，例如Lévy驱动过程。
• 避免了像某些先前耦合方案那样需要逐点评估转移密度，从而增强了其在复杂模型中的适用性。

实验结果

研究问题

• RQ1 我们能否在不修改粒子滤波器或无需逐点评估转移密度的前提下，为状态空间模型中的平滑期望构造无偏估计量？
• RQ2 如何在保持计算可行性并兼容现有粒子滤波器实现的同时，确保无偏性？
• RQ3 粒子数 $N$ 对耦合PIMH链的期望相遇时间及计算效率有何影响？
• RQ4 所提出的方法能否应用于具有随机大小过渡机制的模型，如Lévy驱动的随机波动率模型？
• RQ5 与有偏替代方法相比，该无偏估计量在置信区间有效性与方差控制方面的表现如何？

主要发现

• 所提方法通过耦合两条PIMH链，生成平滑期望的无偏估计量，支持在并行计算环境中构建有效置信区间。
• 该方法在无需修改粒子滤波器的前提下实现无偏性，仅依赖于现成的PF和耦合重采样方案。
• 在包含 $T=500$ 个数据点的Lévy驱动随机波动率模型上的实验表明，使用 $N=100$ 个粒子时，瞬时波动率 $W_t$ 的无偏估计量具有一致性且估计良好。
• 在1,000次运行中，相遇时间的经验分布与大样本近似结果高度一致，验证了理论假设。
• 估计量的计算低效性（以 $(m-k+1) ext{Var}[H_{k:m}]/( ext{Var}_\pi[h]\sigma^2)$ 衡量）随着 $m\to\infty$ 趋近于理论最小值约 0.92，表明其效率极强。
• 该方法适用于过渡核中包含随机数量随机变量的模型，如随机动力学模型，而此前方法在这些场景中会失效。