[论文解读] On approximation of smoothing probabilities for hidden Markov models

Jüri Lember|arXiv (Cornell University)|Oct 24, 2009

Bayesian Methods and Mixture Models参考文献 12被引用 4

一句话总结

本文在一般聚类条件下建立了隐马尔可夫模型（HMM）中的指数遗忘性质，使得可通过双侧HMM对平滑概率进行精确近似。证明了分割风险几乎必然收敛至一个常数渐近风险，支持在统计学习应用中使用大数定律定理。

ABSTRACT

We consider the smoothing probabilities of hidden Markov model (HMM). We show that under fairly general conditions for HMM, the exponential forgetting still holds, and the smoothing probabilities can be well approximated with the ones of double sided HMM. This makes it possible to use ergodic theorems. As an applications we consider the pointwise maximum a posteriori segmentation, and show that the corresponding risks converge.

研究动机与目标

• 建立HMM中平滑概率可由双侧HMM良好近似的条件。
• 为HMM中涉及平滑概率的极限定理应用中使用大数定律定理提供依据。
• 分析逐点最大后验分割风险收敛至常数渐近风险的过程。
• 通过放宽正转移矩阵或发射密度等假设，扩展现有结果。
• 为基于HMM分割的渐近分类风险模拟估计提供理论支持。

提出的方法

• 利用聚类假设A，推导出有限时域与无限时域平滑概率之间总变差距离的指数界。
• 应用Levy的鞅收敛定理，证明有限时域平滑分布几乎必然收敛至双侧极限。
• 建立双向近似界：$\|P(Y_t\in\cdot|X_z^n) - P(Y_t\in\cdot|X_{-\infty}^\in)\| \leq C_1\rho_0^{t-1} + C'_k\rho_0^{k-t}$ a.s.，其中$\rho_0 \in (0,1)$。
• 利用过程$\{C'_k\}$的遍历性，确保近似界在实际应用中具有实用性。
• 使用总变差距离来界定条件风险的差异：$|R_t(s|X_{-\infty}^\infty) - R_t(s|X_1^n)| \leq l(s) \|P(Y_t\in\cdot|X_1^n) - P(Y_t\in\cdot|X_{-\infty}^\infty)\|$。
• 应用Kac的返回时间定理与Sheffe引理，证明最小风险$R(X^n)$几乎必然且在$L_1$范数下收敛至常数$R$。

实验结果

研究问题

• RQ1 在何种条件下，平滑概率$P(Y_t = s | X_z^n)$会以指数速度收敛至双侧平滑概率$P(Y_t = s | X_{-\infty}^\infty)$？
• RQ2 在超越正转移矩阵或发射密度的普遍条件下，是否可将大数定律定理应用于HMM中的平滑过程？
• RQ3 随着观测长度增加，逐点最大后验分割风险是否几乎必然且在$L_1$范数下收敛至常数？
• RQ4 在聚类假设A下，有限时域与无限时域平滑分布之间的总变差距离如何界定？
• RQ5 最小分割风险$R(X^n)$的渐近行为如何？是否可通过模拟一致估计？

主要发现

• 在聚类假设A下，有限时域与双侧平滑概率之间的总变差距离呈指数衰减：$\|P(Y_t\in\cdot|X_z^n) - P(Y_t\in\cdot|X_{-\infty}^\infty)\| \leq C_1\rho_0^{t-1} + C'_k\rho_0^{k-t}$ a.s.，其中$\rho_0 \in (0,1)$。
• 平滑概率的近似误差有界且随时间几何衰减，支持大数定律定理的应用。
• 逐点风险$R_t(s|x^n)$几乎必然且在$L_1$范数下收敛至$R_t(s|X_{-\infty}^\infty)$，其误差受总变差距离与损失界乘积的限制。
• 最小分割风险$R(X^n) = \min_{s^n} R(s^n|x^n)$几乎必然且在$L_1$范数下收敛至常数$R$，该常数代表渐近平均分类误差。
• 渐近风险$R$定义良好，即使难以解析计算，也可通过模拟一致估计。
• 存在有限的随机变量$C'$，且$\{C'_k\}$的遍历性确保近似界在大样本应用中依然有效。