[论文解读] Nonparametric inference in hidden Markov models via penalized likelihood methods

Roland Langrock, Thomas Kneib+1 more|arXiv (Cornell University)|Sep 2, 2013

Bayesian Methods and Mixture Models参考文献 21被引用 2

一句话总结

本文提出一种非参数方法，通过在B样条基函数上施加非光滑性惩罚，以平衡拟合度与平滑度，从而在隐马尔可夫模型（HMMs）中估计状态相关密度。该方法在保持数据拟合度的同时，实现了更简洁的模型结构，减少了所需状态数，如在剑嘴海豚潜水速度分析中的应用所示。

ABSTRACT

Hidden Markov models (HMMs) are flexible time series models in which the distributions of the observations depend on unobserved serially correlated states. The state-dependent distributions in HMMs are usually taken from some class of parametrically specified distributions. The choice of this class can be difficult, and an unfortunate choice can have serious consequences for example on state estimates, on forecasts and generally on the resulting model complexity and interpretation, in particular with respect to the number of states. We develop a novel approach for estimating the state-dependent distributions of an HMM in a nonparametric way, which is based on the idea of representing the corresponding densities as linear combinations of a large number of standardized B-spline basis functions, imposing a penalty term on non-smoothness in order to maintain a good balance between goodness-of-fit and smoothness. We illustrate the nonparametric modeling approach in a real data application concerned with vertical speeds of a diving beaked whale, demonstrating that compared to parametric counterparts it can lead to models that are more parsimonious in terms of the number of states yet fit the data equally well.

研究动机与目标

• 为解决在HMM中选择状态相关密度的参数族所面临的挑战，该挑战可能严重影响模型的解释性与性能。
• 开发一种灵活的非参数替代方法，避免对观测密度施加强烈的参数假设。
• 通过惩罚平滑性来维持模型的可解释性并减少所需状态数。
• 在真实世界的时间序列数据中，特别是生态学应用中，展示该方法的实际优势。
• 在不假设特定参数族的前提下，实现拟合优度与平滑度之间的平衡。

提出的方法

• 将状态相关密度表示为标准化B样条基函数的线性组合，以实现灵活的非参数密度估计。
• 在密度的二阶导数上引入惩罚项，以控制粗糙度并强制实现平滑性。
• 优化惩罚对数似然函数，以同时估计样条系数与惩罚参数。
• 使用交叉验证或信息准则来选择惩罚项的最优平滑参数。
• 将该方法应用于由隐含状态控制观测分布的时间序列数据。
• 通过优化中的适当约束，确保估计的密度非负且积分等于1。

实验结果

研究问题

• RQ1 基于B样条的非参数方法是否能相比参数替代方法，提升HMM的拟合度与简洁性？
• RQ2 惩罚似然估计如何影响建模复杂时间序列所需的隐含状态数？
• RQ3 非参数密度估计在不牺牲拟合度的前提下，能在多大程度上降低模型复杂度？
• RQ4 平滑惩罚如何影响状态相关密度的可解释性与稳定性？
• RQ5 该方法是否能有效建模真实世界的生态时间序列（如鲸鱼潜水速度），并以少于参数模型所需的状态数实现建模？

主要发现

• 在剑嘴海豚潜水速度数据上，非参数HMM方法在保持与参数模型相当拟合度的同时，使用了更少的隐含状态。
• 惩罚似然方法产生了更平滑的状态相关密度，从而增强了模型的可解释性。
• 该方法通过减少所需状态数，降低了模型复杂度，同时未牺牲数据拟合度。
• B样条基函数的使用使得复杂密度形状的灵活建模成为可能，而无需假设特定的参数族。
• 惩罚项有效控制了过拟合，并确保了各状态间稳定且平滑的密度估计。
• 该方法在生态时间序列中展示了实际应用价值，其中模型的简洁性与可解释性至关重要。