[论文解读] Statistical and Computational Guarantees for the Baum-Welch Algorithm

Fanny Yang, Sivaraman Balakrishnan+1 more|arXiv (Cornell University)|Dec 27, 2015

Bayesian Methods and Mixture Models参考文献 24被引用 14

一句话总结

本文首次为隐马尔可夫模型（HMM）中的 Baum-Welch 算法提供了非渐近的有限样本保证，表明在温和条件下，该算法可实现几何收敛至全局最优解的邻域。研究证明，当均值分离足够大且初始化位于大半径球内时，算法能线性收敛至真实参数附近区域，从而解决了长期存在的关于局部最优解敏感性的问题。

ABSTRACT

The Hidden Markov Model (HMM) is one of the mainstays of statistical modeling of discrete time series, with applications including speech recognition, computational biology, computer vision and econometrics. Estimating an HMM from its observation process is often addressed via the Baum-Welch algorithm, which is known to be susceptible to local optima. In this paper, we first give a general characterization of the basin of attraction associated with any global optimum of the population likelihood. By exploiting this characterization, we provide non-asymptotic finite sample guarantees on the Baum-Welch updates, guaranteeing geometric convergence to a small ball of radius on the order of the minimax rate around a global optimum. As a concrete example, we prove a linear rate of convergence for a hidden Markov mixture of two isotropic Gaussians given a suitable mean separation and an initialization within a ball of large radius around (one of) the true parameters. To our knowledge, these are the first rigorous local convergence guarantees to global optima for the Baum-Welch algorithm in a setting where the likelihood function is nonconvex. We complement our theoretical results with thorough numerical simulations studying the convergence of the Baum-Welch algorithm and illustrating the accuracy of our predictions.

研究动机与目标

• 为非凸 HMM 似然函数景观中 Baum-Welch 算法的收敛性提供严格的理论保证。
• 刻画总体似然函数中全局最优解附近的吸引域，解决长期存在的关于局部最优解的担忧。
• 在合适条件下，建立 Baum-Welch 算法的有限样本、非渐近收敛速率，特别是几何与线性收敛速率。
• 通过证明从大初始化半径出发也能收敛至全局最优解，解释为何用 Baum-Welch 初始化先进 HMM 估计器能取得良好性能。
• 将 EM 算法理论从 i.i.d. 模型扩展至依赖结构的 HMM 场景，克服时间依赖带来的挑战。

提出的方法

• 作者利用混合性和集中性性质，推导出 HMM 总体似然函数中全局最优解吸引域的一般表征。
• 通过利用混合系数（如 ρ_mix, ϵ_mix）和矩界，控制似然比对潜在状态扰动的敏感性。
• 分析中采用耦合论证和条件独立结构，以界定了给定观测下潜在状态之间的协方差，确保随时间推移依赖性衰减。
• 关键技术环节是通过递归分解和尾概率控制，推导出不同状态序列下似然比的界。
• 该方法适用于两分量各向同性高斯 HMM，证明当均值分离超过阈值且初始化位于真实参数的大半径球内时，可保证线性收敛。
• 通过数值模拟验证理论预测，并展示在不同初始化和模型参数下收敛行为的特征。

实验结果

研究问题

• RQ1 在何种条件下，Baum-Welch 算法能在 HMM 中实现对全局最优解附近小邻域的几何收敛？
• RQ2 我们能否为非凸似然函数景观中 Baum-Welch 算法的收敛性提供非渐近的有限样本保证？
• RQ3 HMM 总体似然函数中全局最优解的吸引域大小如何？
• RQ4 为何用 Baum-Welch 初始化先进 HMM 估计器能提升性能？这一现象能否从理论上得到解释？
• RQ5 时间依赖性和混合性质如何影响 Baum-Welch 算法的收敛行为？

主要发现

• 在温和正则条件下，Baum-Welch 算法可实现几何收敛至半径与 minimax 率同阶的球内，围绕全局最优解。
• 对于两分量各向同性高斯 HMM，当均值分离超过阈值且初始化位于真实参数的大半径球内时，可保证线性收敛。
• 本文证明，只要样本似然函数具有有利结构，所有局部最优解均位于真实参数的较小邻域内。
• 在有利设置下，全局最优解的吸引域被证明足够大，从而解释了尽管存在非凸性，其经验成功的原因。
• 通过混合系数和矩不等式，推导出似然比和条件协方差的理论界，使有限样本分析成为可能。
• 数值模拟验证了预测的收敛速率，并支持 Baum-Welch 收敛至全局最优解的理论条件。