[论文解读] State-by-state Minimax Adaptive Estimation for Nonparametric Hidden Markov Models

Luc Lehéricy|arXiv (Cornell University)|Jun 26, 2017

Bayesian Methods and Mixture Models被引用 9

一句话总结

本文提出了一种用于隐马尔可夫模型中非参数发射密度的状态-状态极小化自适应估计器，采用Goldenshluger与Lepski的模型选择框架。通过为每个状态独立优化偏差-方差权衡，该方法在计算效率和对各状态正则性水平的自适应性下，实现了每个状态的极小化收敛速率，经模拟和真实数据验证。

ABSTRACT

In this paper, we introduce a new estimator for the emission densities of a nonparametric hidden Markov model. It is adaptive and minimax with respect to each state's regularity--as opposed to globally minimax estimators, which adapt to the worst regularity among the emission densities. Our method is based on Goldenshluger and Lepski's methodology. It is computationally efficient and only requires a family of preliminary estimators, without any restriction on the type of estimators considered. We present two such estimators that allow to reach minimax rates up to a logarithmic term: a spectral estimator and a least squares estimator. We show how to calibrate it in practice and assess its performance on simulations and on real data.

研究动机与目标

• 解决全局极小化估计器适应所有发射密度中最差正则性水平的局限性，避免因最慢收敛密度导致的次优收敛速率。
• 开发一种能自适应各发射密度个体正则性的估计器，实现各状态的极小化收敛速率。
• 通过仅依赖一组预估估计器且无结构限制，确保方法的计算效率。
• 基于Goldenshluger与Lepski的方法论，使用插值程序在实际中校准估计器。
• 在模拟数据和真实数据上展示性能，验证其在不同正则性水平下的鲁棒性与自适应性。

提出的方法

• 采用Goldenshluger与Lepski的模型选择框架，根据每个隐状态特有的偏差-方差权衡选择最优模型。
• 定义状态特定准则：$ A_k(M) = \sup_{M'} \left\{ \|\hat{f}^{(M')}_{k} - \hat{f}^{(M \wedge M')}_{k}\|_2 - \sigma(M') \right\} $，其中 $ \sigma(M') $ 为估计偏差的惩罚项。
• 选择使 $ \|\hat{f}^{(M)}_k\|_2 + A_k(M) $ 最小化的模型 $ \hat{M}_k $，以确保各状态达到最优权衡。
• 使用两类预估估计器：谱估计器和最小二乘估计器，两者均被证明可达到极小化速率（对数因子内）。
• 通过仅依赖预先计算的估计器，避免在完整参数空间上进行复杂优化，从而确保方法的计算效率。
• 基于模型复杂度与噪声水平的理论界校准惩罚项 $ \sigma(M') $，支持实际应用。

实验结果

研究问题

• RQ1 我们能否构建一种用于非参数HMM发射密度的估计器，使其自适应各状态的个体正则性，而非仅适应所有状态中最差的正则性？
• RQ2 所提出的方法是否能在不牺牲计算效率的前提下，独立实现各发射密度的极小化收敛速率？
• RQ3 Goldenshluger与Lepski的模型选择框架如何适配用于具有非参数发射密度的HMM中的状态特定估计？
• RQ4 在最小假设下，所提出估计器的理论保证（如Oracle不等式、极小化速率）是什么？
• RQ5 该方法能否在保持理论最优性的同时，实现实际校准并应用于真实世界数据？

主要发现

• 所提出的估计器对每个发射密度均实现了极小化收敛速率，自适应各状态的正则性，优于仅受限于最慢收敛密度的全局估计器。
• 该方法计算高效，仅需一组预估估计器——对其类型无限制——可灵活使用谱估计器或最小二乘估计器。
• 谱估计器与最小二乘估计器均达到极小化速率（对数因子内），证实了选择程序的稳健性。
• 通过Oracle不等式建立了理论保证，表明该估计器的性能几乎与已知最优模型时相当。
• 模拟与真实数据应用结果证实了估计器的自适应性与性能，且在不同正则性水平下均表现出稳定收敛。
• 该方法确保了准则函数的统一连续性，支持存在明确定义的最小化器，并保障了校准的稳健性。