[论文解读] Static Parameter Estimation for ABC Approximations of Hidden Markov Models

Elena Ehrlich, Ajay Jasra+1 more|arXiv (Cornell University)|Oct 17, 2012

Target Tracking and Data Fusion in Sensor Networks参考文献 17被引用 8

一句话总结

该论文提出了一种新颖的在线参数估计方法，用于隐马尔可夫模型（HMMs），当观测密度不可计算时，采用近似贝叶斯计算（ABC）结合序贯蒙特卡洛（SMC）。研究证明，在ABC下对数似然及其梯度的偏差为𝒪(𝑛𝜀)，并开发了一种基于SMC的同步扰动随机逼近（SPSA）算法，实现高效、实时的参数估计，且通过𝜀控制偏差。

ABSTRACT

In this article we focus on Maximum Likelihood estimation (MLE) for the static parameters of hidden Markov models (HMMs). We will consider the case where one cannot or does not want to compute the conditional likelihood density of the observation given the hidden state because of increased computational complexity or analytical intractability. Instead we will assume that one may obtain samples from this conditional likelihood and hence use approximate Bayesian computation (ABC) approximations of the original HMM. ABC approximations are biased, but the bias can be controlled to arbitrary precision via a parameter ε>0; the bias typically goes to zero as ε\searrow 0. We first establish that the bias in the log-likelihood and gradient of the log-likelihood of the ABC approximation, for a fixed batch of data, is no worse than \mathcal{O}(nε), n being the number of data; hence, for computational reasons, one might expect reasonable parameter estimates using such an ABC approximation. Turning to the computational problem of estimating $θ$, we propose, using the ABC-sequential Monte Carlo (SMC) algorithm in Jasra et al. (2012), an approach based upon simultaneous perturbation stochastic approximation (SPSA). Our method is investigated on two numerical examples

研究动机与目标

• 解决当观测密度在分析上不可计算或计算上过于昂贵而无法评估时，HMM中静态参数估计的挑战。
• 分析在固定数据集上，ABC近似在对数似然及其梯度中引入的偏差。
• 开发一种计算高效的在线估计方法，用于HMM参数，结合ABC与序贯蒙特卡洛。
• 确保通过容忍参数𝜀控制ABC近似中的偏差，并提供收敛性的理论保证。

提出的方法

• 使用近似贝叶斯计算（ABC）以避免显式评估不可计算的观测密度𝑔𝜃(𝑦𝑛|𝑥𝑛)。
• 应用结合ABC的序贯蒙特卡洛（SMC），以序贯方式近似ABC近似下的似然及其梯度。
• 采用同步扰动随机逼近（SPSA）算法，实现具有收敛性保证的在线参数估计。
• 分析ABC近似对数似然及其梯度中的偏差，证明其对大小为𝑛的固定数据批次有界于𝒪(𝑛𝜀)。
• 使用基于粒子的测度表示和基于扰动的梯度估计，实现在无需显式似然评估下的在线学习。
• 建立真实滤波器与ABC近似滤波器之间差异的理论界，确保稳定性与收敛性。

实验结果

研究问题

• RQ1 在HMM中使用ABC近似时，对数似然及其梯度中引入的偏差量级是多少？
• RQ2 当观测密度不可计算时，能否为HMM开发一种在线参数估计方法？
• RQ3 如何控制ABC近似中的偏差，以确保参数估计的一致性？
• RQ4 所提出的SMC-SPSA算法在在线HMM参数估计中的计算成本和收敛行为如何？

主要发现

• 对于大小为𝑛的固定数据批次，ABC近似对数似然及其梯度的偏差被有界于𝒪(𝑛𝜀)，确保在𝜀→0时可控制。
• 所提出的SMC-SPSA算法实现了在ABC近似下HMM的在线、实时参数估计，计算成本为𝒪(𝑁)，其中𝑁为粒子数。
• 理论分析证实，真实滤波器与ABC近似滤波器之间的差异被一个常数倍的𝜀有界，且在初始测度和参数上一致。
• 该方法对不可计算的观测密度具有鲁棒性，使在标准SMC方法失效的复杂HMM中实现无需似然的推断成为可能。
• 在两个数值示例上的实证验证确认了该方法的有效性及在不同𝜀和粒子数下的收敛行为。