[论文解读] Non Parametric Hidden Markov Models with Finite State Space: Posterior Concentration Rates

Elodie Vernet|arXiv (Cornell University)|Nov 27, 2015

Bayesian Methods and Mixture Models参考文献 41被引用 5

一句话总结

本文在贝叶斯框架下，针对具有有限状态空间的非参数隐马尔可夫模型，建立了后验集中率，聚焦于连续观测联合边缘密度的 $L_1$-范数。研究推导了两种情形下的极小极大后验集中率：发射分布使用狄利克雷过程先验的离散观测，以及使用狄利克雷过程混合高斯分布的连续观测，建立了理论最优性与对霍尔德光滑性类别的自适应性。

ABSTRACT

The use of non parametric hidden Markov models with finite state space is flourishing in practice while few theoretical guarantees are known in this framework. Here, we study asymptotic guarantees for these models in the Bayesian framework. We obtain posterior concentration rates with respect to the $L_1$-norm on joint marginal densities of consecutive observations in a general theorem. We apply this theorem to two cases and obtain minimax concentration rates. We consider discrete observations with emission distributions distributed from a Dirichlet process and continuous observations with emission distributions distributed from Dirichlet process mixtures of Gaussian distributions.

研究动机与目标

• 为已知状态数但发射分布为非参数的贝叶斯非参数隐马尔可夫模型提供理论保证。
• 在连续观测的联合密度上，建立关于 $L_1$-范数的后验集中率。
• 在两种关键非参数设定下实现极小极大最优率：发射分布使用狄利克雷过程先验的离散观测，以及使用狄利克雷过程混合高斯分布的连续观测。
• 在连续情形下展示对霍尔德光滑性类别的自适应性，表明后验分布能自适应于真实发射密度的未知光滑性。

提出的方法

• 在似然与先验的弱正则性及矩条件基础上，发展了一般性后验集中率定理。
• 将该一般性定理应用于两个具体模型：发射分布使用狄利克雷过程先验的离散观测，以及使用狄利克雷过程混合高斯分布的连续观测。
• 通过控制对数似然比的Kullback-Leibler散度与方差，建立集中性质。
• 利用技术引理控制在真实测度下对数似然比的期望与方差，依赖于与正态核卷积的性质。
• 通过逼近理论与密度尾部行为，建立真实与估计密度之间 $L_1$-距离的界。
• 证明后验以极小极大率 $n^{-\beta/(2\beta+1)}$ 收敛于霍尔德光滑密度，与经典极小极大率一致。

实验结果

研究问题

• RQ1 在贝叶斯框架下，能否为具有有限状态空间的非参数隐马尔可夫模型建立后验集中率？
• RQ2 在发射分布使用狄利克雷过程先验的离散观测下，后验集中率的极小极大值是多少？
• RQ3 在连续情形下，当发射分布使用狄利克雷过程混合高斯分布时，后验分布是否能自适应于发射密度的未知光滑性？
• RQ4 在离散与连续非参数HMM设定下，后验集中率是否均为极小极大最优？
• RQ5 对发射分布的先验假设如何影响后验集中率？

主要发现

• 在发射分布使用狄利克雷过程先验的离散观测下，后验集中率达到极小极大最优，对霍尔德光滑密度实现速率 $n^{-\beta/(2\beta+1)}$。
• 在使用狄利克雷过程混合高斯分布的连续观测下，当真实发射密度属于霍尔德类 $\beta$ 时，后验以极小极大速率 $n^{-\beta/(2\beta+1)}$ 收敛。
• 一般性定理在似然与先验的温和正则性与矩条件下，建立了后验以速率 $n^{-\beta/(2\beta+1)}$ 集中的结论。
• 在连续情形下，后验被证明能自适应于真实发射密度的未知光滑性，无需事先知道 $\beta$ 即可达到最优速率。
• 通过卷积逼近与尾部界控制Kullback-Leibler散度与对数似然比的方差，从而推导出该速率。
• 结果表明，具有有限状态空间的贝叶斯非参数HMM框架在后验集中方面实现了最优的频率学性能，验证了其在实践中的适用性。