[论文解读] The maximizing set of the asymptotic normalized log-likelihood for partially observed Markov chains

Randal Douc, François Roueff+1 more|arXiv (Cornell University)|Sep 30, 2015

Bayesian Methods and Mixture Models参考文献 19被引用 3

一句话总结

本文在较弱条件下证明，对于部分可观测的马尔可夫链，其渐近归一化对数似然函数的最大值恰好出现在真实参数的等价类上，从而确保了最大似然估计量（MLE）的等价类一致性。核心洞察在于：无论其收敛速率如何，完整数据马尔可夫链的平稳分布具有唯一性，该结论适用于隐马尔可夫模型（HMMs）和观测驱动时间序列模型。

ABSTRACT

This paper deals with a parametrized family of partially observed bivariate Markov chains. We establish that, under very mild assumptions, the limit of the normalized log-likelihood function is maximized when the parameters belong to the equivalence class of the true parameter, which is a key feature for obtaining the consistency of the maximum likelihood estimators (MLEs) in well-specified models. This result is obtained in the general framework of partially dominated models. We examine two specific cases of interest, namely, hidden Markov models (HMMs) and observation-driven time series models. In contrast with previous approaches, the identifiability is addressed by relying on the uniqueness of the invariant distribution of the Markov chain associated to the complete data, regardless its rate of convergence to the equilibrium.

研究动机与目标

• 在最小假设下建立部分可观测马尔可夫模型中最大似然估计量（MLE）的一致性。
• 通过关注真实参数的等价类而非点识别，解决可识别性问题。
• 证明渐近归一化对数似然函数的最大化集合恰好对应于与真实参数产生相同观测分布的参数。
• 将一致性结果推广至一般部分支配模型，特别是HMMs和观测驱动时间序列模型。
• 证明完整数据马尔可夫链的平稳分布唯一性足以保证MLE的等价类一致性，且与收敛至平衡的速率无关。

提出的方法

• 在具有潜变量和可观测变量的局部可观测马尔可夫链背景下，形式化渐近归一化对数似然函数。
• 利用部分支配模型框架分析归一化对数似然函数的极限。
• 以完整数据马尔可夫链的平稳分布唯一性作为核心技术条件。
• 应用马尔可夫链遍历性理论的结果，包括多项式遍历性和几何遍历性，以确保平稳分布的存在性与唯一性。
• 通过耦合方法和矩条件（例如，存在β > 0阶矩）验证遍历性及平稳测度的可积性。
• 利用返回时间矩的反证法，证明当指数矩不成立时不存在几何遍历性，从而支持主要结论。

实验结果

研究问题

• RQ1 在具有潜状态的部分可观测马尔可夫模型中，MLE在何种条件下具有一致性？
• RQ2 在不假设几何遍历性的情况下，能否对渐近归一化对数似然函数的最大化集合进行刻画？
• RQ3 完整数据马尔可夫链的平稳分布唯一性是否足以保证MLE的等价类一致性？
• RQ4 该框架如何应用于隐马尔可夫模型（HMMs）和观测驱动时间序列模型？
• RQ5 当潜变量链仅为多项式遍历性而非几何遍历性时，是否仍可建立一致性？

主要发现

• 渐近归一化对数似然函数的最大值恰好出现在真实参数的等价类上，从而确保MLE的等价类一致性。
• 完整数据马尔可夫链的平稳分布唯一性足以保证该一致性，且与收敛至平衡的速率无关。
• 对于状态动态为 $ X_k = (X_{k-1} + U_k - m)^+ $ 的HMM示例，该模型在较弱矩条件下为多项式遍历性，并具有唯一的平稳分布。
• 即使几何遍历性不成立，MLE仍被证明在分布上一致，如返回时间的矩条件 $ ho > 1 $ 不成立所表明的那样。
• 证明方法避免使用指数分离条件，转而依赖矩界和杜布最大不等式来建立非几何遍历性。
• 该结果广泛适用于观测驱动模型，如GARCH(1,1)，其条件似然函数可计算，但一致性证明具有非平凡性。