[论文解读] Online EM Algorithm for Hidden Markov Models

Olivier Cappé|arXiv (Cornell University)|Aug 17, 2009

Bayesian Methods and Mixture Models参考文献 25被引用 4

一句话总结

该论文提出了一种用于隐马尔可夫模型（HMMs）的在线期望最大化（EM）算法，能够从单次遍历流数据中实现递归参数估计。通过将完整数据充分统计量与基于辅助递推的递归平滑方案相结合，该算法实现了对极限EM映射驻点的收敛，且在大样本条件下的性能与批量最大似然估计相当。

ABSTRACT

Online (also called "recursive" or "adaptive") estimation of fixed model parameters in hidden Markov models is a topic of much interest in times series modelling. In this work, we propose an online parameter estimation algorithm that combines two key ideas. The first one, which is deeply rooted in the Expectation-Maximization (EM) methodology consists in reparameterizing the problem using complete-data sufficient statistics. The second ingredient consists in exploiting a purely recursive form of smoothing in HMMs based on an auxiliary recursion. Although the proposed online EM algorithm resembles a classical stochastic approximation (or Robbins-Monro) algorithm, it is sufficiently different to resist conventional analysis of convergence. We thus provide limited results which identify the potential limiting points of the recursion as well as the large-sample behavior of the quantities involved in the algorithm. The performance of the proposed algorithm is numerically evaluated through simulations in the case of a noisily observed Markov chain. In this case, the algorithm reaches estimation results that are comparable to that of the maximum likelihood estimator for large sample sizes.

研究动机与目标

• 开发一种用于HMMs的在线参数估计算法，能够顺序处理数据而不存储历史观测值。
• 将在线EM框架从有限记忆近似和基于梯度的方法扩展至处理具有连续观测值的一般HMMs。
• 在该递归算法偏离标准随机逼近分析的前提下，建立其理论收敛性质。
• 证明该算法在大样本条件下可实现与批量最大似然估计相当的估计精度。

提出的方法

• 通过使用完整数据充分统计量对HMM估计问题进行重参数化，使其与EM原理保持一致。
• 采用基于辅助递推的递归平滑方案，受Zeitouni和Dembo（1988）以及Elliott等人（1995）的启发，实现在线计算充分统计量。
• 使用时变步长序列 $ \gamma_k = k^{-1} $ 递归更新参数估计，确保在弱条件下收敛。
• 通过维护基于过去和当前数据的条件期望导出的递归充分统计量，避免存储完整的观测序列。
• 利用HMM的遍历性和混合性质，证明经验平均几乎必然收敛至其理论对应值。
• 理论分析表明，该递归的极限点是极限EM映射的驻点，推广了独立数据设定下的结果。

实验结果

研究问题

• RQ1 能否为一般HMMs设计一种在线EM算法，避免有限记忆近似，并实现递归参数更新？
• RQ2 在大样本条件下，所提算法的收敛行为与批量EM算法有何关系？
• RQ3 该算法中所用递归平滑方案的理论性质是什么？其如何确保稳定性与一致性？
• RQ4 该在线算法在多大程度上实现了与批量最大似然估计相当的估计精度？

主要发现

• 所提出的在线EM算法几乎必然收敛至极限EM映射的驻点，这些驻点在大样本条件下对应于批量EM算法的不动点。
• 对于一个被噪声观测的马尔可夫链，当样本量较大时，该算法的估计性能与批量最大似然估计器相当。
• 递归平滑方案实现了无需存储历史观测值的充分统计量的精确计算，使该算法适用于流数据处理。
• 理论分析表明，充分统计量的经验平均几乎必然收敛至真实模型下的期望值，从而确保了一致性。
• 在弱混合性和矩条件成立下，该算法的收敛性得以建立，且步长序列 $ \gamma_k = k^{-1} $ 确保了渐近收敛。
• 在正则性条件下，该算法的极限行为由极限对比函数的梯度表征，且在真实参数值处该梯度为零。