[论文解读] Optimized Hidden Markov Model based on Constrained Particle Swarm Optimization

Chang Liu, Yacine Ouzrout+2 more|arXiv (Cornell University)|Nov 7, 2018

Web Data Mining and Analysis参考文献 13被引用 4

一句话总结

本文提出了一种基于粒子群优化的隐马尔可夫模型（PSOHMM），通过整合约束型粒子群优化（PSO）来优化HMM参数，克服了传统Baum-Welch算法在寻找全局最优解方面的局限性。通过引入重归一化和重映射机制，PSOHMM在保持统计约束的同时，实现了比BWHMM更快的收敛速度和更优的解质量。

ABSTRACT

As one of Bayesian analysis tools, Hidden Markov Model (HMM) has been used to in extensive applications. Most HMMs are solved by Baum-Welch algorithm (BWHMM) to predict the model parameters, which is difficult to find global optimal solutions. This paper proposes an optimized Hidden Markov Model with Particle Swarm Optimization (PSO) algorithm and so is called PSOHMM. In order to overcome the statistical constraints in HMM, the paper develops re-normalization and re-mapping mechanisms to ensure the constraints in HMM. The experiments have shown that PSOHMM can search better solution than BWHMM, and has faster convergence speed.

研究动机与目标

• 解决Baum-Welch算法在HMM参数估计中难以找到全局最优解的局限性。
• 开发一种新颖的优化框架，将粒子群优化与HMM固有的统计约束相结合。
• 通过元启发式优化方法提升HMM参数学习的收敛速度和解质量。
• 通过重映射和重归一化技术强制执行随机约束，确保优化后的HMM参数保持有效性。

提出的方法

• 采用粒子群优化（PSO）搜索最优HMM参数，替代Baum-Welch算法的迭代期望-最大化方法。
• 引入重映射机制，将粒子位置投影到HMM转移概率和发射概率所需的合法概率单纯形空间中。
• 在每次PSO迭代后，应用重归一化技术以纠正转移矩阵和发射矩阵中的任何约束违反问题。
• 通过边界条件和惩罚函数约束搜索空间，以保持HMM参数的随机有效性。
• 使用基于观测序列对数似然的适应度函数，引导PSO粒子的更新。
• 将约束处理机制直接集成到PSO算法中，以在整个优化过程中保持可行性。

实验结果

研究问题

• RQ1 粒子群优化能否在尊重概率分布统计约束的前提下，有效优化HMM参数？
• RQ2 PSOHMM是否比标准的Baum-Welch算法收敛更快并获得更高的对数似然得分？
• RQ3 重映射和重归一化在PSO优化过程中保持HMM参数有效性的效果如何？
• RQ4 在复杂的序列建模任务中，PSOHMM是否比Baum-Welch更有效地避免局部最优解？

主要发现

• PSOHMM在测试序列上的对数似然得分更高，表明其解质量优于BWHMM。
• PSOHMM相比迭代式的Baum-Welch算法表现出更快的收敛速度。
• 重映射和重归一化机制在优化过程中成功维持了HMM参数的统计约束。
• 所提出的约束处理技术有效防止了无效概率矩阵的产生，确保了优化后HMM的有效性。
• 实证结果证实，PSOHMM在收敛速度和最终解质量方面均优于BWHMM。
• 将PSO与HMM参数学习相结合，为传统基于EM的方法提供了一种稳健的替代方案。