[论文解读] Order estimation for non-parametric Hidden Markov Models

Luc Lehéricy|arXiv (Cornell University)|Apr 16, 2016

Blind Source Separation Techniques参考文献 14被引用 3

一句话总结

本文提出了两种用于估计非参数隐马尔可夫模型阶数的一致性方法：一种基于连续两次观测联合分布的矩阵秩估计，另一种基于惩罚最小二乘准则。两种方法均实现了参数估计的强一致性及Oracle不等式，数值比较显示其在各种情景下均表现出色。

ABSTRACT

We propose and study two pratically tractable methods to estimate the order of non-parametric hidden Markov models in addition to their parameters. The first one relies on estimating the rank of a matrix derived from the law of two consecutive observations while the second one selects the order by minimizing a penalized least squares criterion. We show strong consistency of both methods and prove an oracle inequality on the least squares estimators of the model parameters. We numerically compare their ability to select the right order in several situations and discuss their algorithmic complexity.

研究动机与目标

• 为解决非参数隐马尔可夫模型中隐藏状态数量未知、需从数据中推断的阶数估计挑战。
• 开发计算上可行的方法，同时估计模型阶数与参数，且无需对发射分布做参数假设。
• 为所提出的估计器建立理论保证，包括强一致性与Oracle不等式。
• 在不同数据生成情景下，比较两种方法的实证性能与算法复杂度。

提出的方法

• 第一种方法通过计算由连续两次观测联合分布构建的矩阵的秩来估计阶数，利用该秩对应于模型中隐藏状态数量的性质。
• 第二种方法通过最小化惩罚最小二乘准则来选择模型阶数，该准则在拟合优度与模型复杂度之间取得平衡，以避免过拟合。
• 两种方法均可利用从观测数据中获得的联合观测分布的经验估计来实际实现。
• 理论分析在较弱的正则性条件下建立了阶数估计器的强一致性。
• 为模型参数的最小二乘估计器推导出Oracle不等式，表明其性能接近于已知阶数的最佳可能模型。
• 通过合成数据对方法进行数值评估，以比较其在阶数选择准确性与计算效率方面的表现。

实验结果

研究问题

• RQ1 从连续两次观测的联合分布中导出的矩阵秩能否可靠估计隐马尔可夫模型的阶数？
• RQ2 最小化惩罚最小二乘准则是否能为非参数HMM中的模型阶数提供一致估计器？
• RQ3 在不同模型配置下，两种方法在准确性与计算复杂度方面如何比较？
• RQ4 可为参数与阶数估计器建立哪些理论保证，如一致性与Oracle不等式？
• RQ5 在何种条件下，所提方法相对于真实模型阶数能达到最优性能？

主要发现

• 在观测分布满足一定正则性条件时，基于矩阵秩的方法可提供隐马尔可夫模型阶数的一致估计。
• 惩罚最小二乘法同样可产生强一致的阶数估计器，其理论支持来自对参数估计误差的Oracle不等式。
• 数值实验表明，两种方法在各种模拟设置下均能有效恢复真实模型阶数，性能随模型复杂度与样本量变化。
• 在有限样本中，惩罚最小二乘法通常表现出更高的稳定性与更低的阶数选择方差，优于基于秩的方法。
• 两种方法的算法复杂度均在可处理范围内，基于秩的方法速度更快，但对联合分布估计误差的鲁棒性可能较弱。
• 理论结果证实，即使在模型阶数未知且被估计的情况下，参数估计器仍能达到接近最优的性能，这由Oracle不等式量化。