[论文解读] Non singularity of the asymptotic Fisher information matrix in hidden Markov models

Randal Douc|arXiv (Cornell University)|Nov 25, 2005

Random Matrices and Applications参考文献 14被引用 4

一句话总结

本文建立了在可能具有非有限状态空间的隐马尔可夫模型（HMMs）中，渐近费雪信息矩阵非奇异性的必要且充分条件。通过证明无限时域费雪信息矩阵的非奇异性和有限观测块矩阵的非奇异性的等价性，作者提供了一个可处理的标准，用于验证最大似然估计量（MLE）渐近正态性所必需的可逆性。

ABSTRACT

In this paper, we consider a parametric hidden Markov model where the hidden state space is non necessarily finite. We provide a necessary and sufficient condition for the invertibility of the limiting Fisher information matrix.

研究动机与目标

• 解决在可能具有非有限隐状态空间的HMM中，验证渐近费雪信息矩阵非奇异性的挑战。
• 为极限费雪信息矩阵的可逆性提供一个实用标准，这是最大似然估计量（MLE）渐近正态性的关键。
• 通过将无限时域条件简化为有限观测块矩阵条件，弥合理论要求与实际验证之间的差距。
• 通过使关键的非奇异假设更易于分析和计算，支持HMM中MLE的渐近理论。

提出的方法

• 引入渐近费雪信息矩阵 $ I(\theta) = -\mathbb{E}_{\theta}\left(\nabla_{\theta}^{2}\log p_{\theta}(Y_{1}|\mathbf{Y}_{-\infty}^{0})\right) $，其依赖于所有过去观测，分析上难以处理。
• 定义有限观测费雪信息矩阵 $ I_{Y_{1:n}}(\theta) = -\mathbb{E}_{\theta}\left(\nabla_{\theta}^{2}\log p_{\theta}(Y_{1:n})\right) $，其仅依赖于有限数量的观测。
• 在模型假设下，利用基于扩展马尔可夫链结构的耦合论证，建立 $ I(\theta) $ 与 $ I_{Y_{1:n}}(\theta) $ 非奇异性的等价性。
• 采用耦合技术，通过隐藏链的统一遍历性和几何混合性，控制有限与无限过去条件下得分函数之间的差异。
• 使用一个技术性命题，证明得分函数在 $ L^2 $-范数下的差异随条件窗口长度增加而收敛至零。
• 应用 delta 方法与矩界，控制在真实参数 $ \theta^* $ 下费雪信息矩阵的收敛性，确保极限的稳定性。

实验结果

研究问题

• RQ1 在具有非有限状态空间的隐马尔可夫模型中，渐近费雪信息矩阵在何种条件下是非奇异的？
• RQ2 无限时域费雪信息矩阵的非奇异性能否简化为对有限观测块的条件？
• RQ3 在有限与无限条件下的得分函数收敛性如何影响费雪信息矩阵的可逆性？
• RQ4 扩展马尔可夫链的几何遍历性在确保费雪信息矩阵稳定性方面起到什么作用？
• RQ5 $ I_{Y_{1:n}}(\theta) $ 的非奇异性能否作为 $ I(\theta) $ 非奇异性的必要且充分条件？

主要发现

• 渐近费雪信息矩阵 $ I(\theta) $ 的非奇异性和有限观测矩阵 $ I_{Y_{1:n}}(\theta) $ 的非奇异性的等价性，为验证提供了实用标准。
• 建立了得分函数 $ \nabla_{\theta}\log\bar{p}_{\theta^{*}}(\mathbf{Y}_{1}^{n}|\mathbf{Y}_{-k-m}^{-k}) $ 到 $ \nabla_{\theta}\log\bar{p}_{\theta^{*}}(\mathbf{Y}_{1}^{n}) $ 在 $ L^2 $-范数下的收敛性，且差异随 $ k $ 指数衰减。
• $ L^2 $-范数下得分函数差异收敛至零，意味着费雪信息矩阵依分布收敛至其无限时域极限。
• 证明依赖于似然函数及其导数的统一有界性，利用了隐藏链的极小化条件和几何遍历性。
• 该结果在Douc等（2004）的相同假设下成立，包括隐藏马尔可夫链的统一遍历性和参数空间的紧致性。
• 关键技术步骤是通过似然函数及其梯度的比值，利用状态空间上似然函数的下确界作为下界，来控制得分函数差异。