[论文解读] The Segmented iHMM: A Simple, Efficient Hierarchical Infinite HMM

Ardavan Saeedi, Matthew D. Hoffman+2 more|arXiv (Cornell University)|Feb 20, 2016

Time Series Analysis and Forecasting参考文献 31被引用 7

一句话总结

分段iHMM（siHMM）是一种新型分层无限HMM，通过采用双状态切换机制建模状态转换，实现了时间序列分割的高效、可扩展推理。它结合了iHMM的简洁性与分层HMM的模式检测能力，在显著降低计算成本的同时，实现了分割任务的最先进性能。

ABSTRACT

We propose the segmented iHMM (siHMM), a hierarchical infinite hidden Markov model (iHMM) that supports a simple, efficient inference scheme. The siHMM is well suited to segmentation problems, where the goal is to identify points at which a time series transitions from one relatively stable regime to a new regime. Conventional iHMMs often struggle with such problems, since they have no mechanism for distinguishing between high- and low-level dynamics. Hierarchical HMMs (HHMMs) can do better, but they require much more complex and expensive inference algorithms. The siHMM retains the simplicity and efficiency of the iHMM, but outperforms it on a variety of segmentation problems, achieving performance that matches or exceeds that of a more complicated HHMM.

研究动机与目标

• 为解决传统iHMM在时间序列分割中难以区分高低水平动态的局限性。
• 开发一种分层无限HMM，既保持iHMM的推理简洁性，又能实现稳健的模式检测。
• 在分割任务中超越标准iHMM，并与更复杂的分层HMM性能相当或更优。
• 通过结构化消息传递方案实现高效、可扩展的推理，计算复杂度经过优化。

提出的方法

• siHMM引入一个双状态切换变量（st），用于控制系统处于高水平还是低水平动态模式。
• 采用变分推理框架，通过局部因子与全局因子近似隐藏状态和转移参数的后验分布。
• 利用高效的矩阵运算计算前向-后向消息，将总消息传递成本降低至T(2K² + 3K)次操作。
• 采用带学习率ρ的缩放更新规则，迭代更新转移概率与发射分布的全局变分参数。
• 对于全局因子q(ω)、q(θ)和q(β)，采用点估计与基于变分下界的截断梯度更新。
• 通过变分后验下的期望计算转移与发射的充分统计量，实现高效的参数更新。

实验结果

研究问题

• RQ1 能否设计一种分层无限HMM，使其在保持iHMM推理效率的同时，提升分割精度？
• RQ2 引入切换状态（st）在多大程度上增强了模型检测时间序列中模式变化的能力？
• RQ3 siHMM在显著降低计算成本的前提下，能在多大程度上匹配或超越更复杂分层HMM的性能？
• RQ4 结构化消息传递方案对推理可扩展性与运行时效率有何影响？

主要发现

• siHMM在多个分割基准测试中，性能与更复杂的分层HMM相当或更优。
• 模型将推理复杂度降低至O(TK)内存与T(2K² + 3K)次操作，支持长时序序列的可扩展处理。
• 双状态切换机制使模型能有效区分时间序列数据中的高低水平动态。
• 结合缩放参数更新的变分推理框架，确保了全局因子的稳定且高效的优化。
• 对β∗采用截断梯度更新，确保了优化过程中非负性约束的保持。