[论文解读] Stochastic Gradient MCMC Methods for Hidden Markov Models

Yi-An Ma, Nicholas J. Foti+1 more|arXiv (Cornell University)|Jun 14, 2017

Markov Chains and Monte Carlo Methods参考文献 24被引用 15

一句话总结

本文提出了一种用于隐马尔可夫模型（HMMs）的随机梯度 MCMC 算法，通过利用边缘似然梯度和缓冲消息传递来处理时间依赖性，从而在大规模序列数据上实现高效的贝叶斯推断。该方法在保持理论有效性的同时，相比批量 MCMC 实现了高达 1,000× 的加速，并支持非共轭发射分布。

ABSTRACT

Stochastic gradient MCMC (SG-MCMC) algorithms have proven useful in scaling Bayesian inference to large datasets under an assumption of i.i.d data. We instead develop an SG-MCMC algorithm to learn the parameters of hidden Markov models (HMMs) for time-dependent data. There are two challenges to applying SG-MCMC in this setting: The latent discrete states, and needing to break dependencies when considering minibatches. We consider a marginal likelihood representation of the HMM and propose an algorithm that harnesses the inherent memory decay of the process. We demonstrate the effectiveness of our algorithm on synthetic experiments and an ion channel recording data, with runtimes significantly outperforming batch MCMC.

研究动机与目标

• 解决在具有强时间依赖性的大规模序列数据集上扩展 HMM 中贝叶斯推断的挑战。
• 开发一种随机梯度 MCMC 算法，即使在非独立同分布的数据和潜在离散状态存在的情况下，也能保持后验分布的正确渐近采样。
• 实现在非共轭发射分布下的高效推断，这类分布通常在标准 MCMC 或变分方法中不可行。
• 通过缓冲和基于混合时间的子链间距，提供一种理论上合理的打破序列数据依赖关系的方法。
• 在保持真实世界序列数据估计精度的同时，显著优于批量 MCMC 的计算效率。

提出的方法

• 该方法基于 HMM 的边缘似然，通过从小型子链中计算随机梯度，避免对离散潜在状态进行直接推断。
• 采用缓冲策略来近似完整的前向-后向传递，将消息传递限制在每个子链周围的短窗口内，以降低计算成本。
• 利用随机动力系统理论，对缓冲长度和子链间间隔进行理论证明，以确保子链计算的不相关性并维持正确的平稳分布。
• 根据 HMM 的混合时间对子链进行间距设置，以确保近似独立性，从而支持有效的随机梯度更新。
• 该算法基于黎曼 Langevin 动力学（RLD），提供了一个具有理论收敛保证的合理 SG-MCMC 框架。
• 该方法支持非共轭先验和发射模型，使灵活的贝叶斯建模超越标准共轭指数族成为可能。

实验结果

研究问题

• RQ1 随机梯度 MCMC 能否有效应用于 HMM 等非独立同分布的序列数据，其中必须打破依赖性以实现小批量处理？
• RQ2 如何利用马尔可夫过程中的固有记忆衰减特性，仅通过局部子链近似完整的后验梯度？
• RQ3 是否存在一种理论上合理的缓冲区大小和子链间距选择方法，以确保更新的不相关性并维持正确的平稳分布？
• RQ4 所提出的算法能否在非共轭发射分布下实现准确的后验推断，而这类分布通常在可扩展的贝叶斯方法中难以处理？
• RQ5 该算法在运行时间上相比批量 MCMC 的性能提升程度如何，同时在真实世界序列数据上保持估计精度？

主要发现

• 在 1MHz 离子通道记录数据上，SG-RLD 算法相比批量 RLD 实现了 1,000× 的加速，仅用不到 10 分钟即完成收敛，而批量 MCMC 尚未完成一次迭代。
• 在具有对数正态发射的合成数据上，非共轭模型比共轭模型在更少的迭代次数内收敛到准确的转移矩阵估计。
• 非共轭 HMM 模型正确识别出真实状态数（K=2），而共轭模型则过拟合并错误选择为 K=4 个状态。
• 该算法在离子通道数据上生成了合理的分段结果和准确的参数估计，其质量与批量 MCMC 相当，但耗时仅为后者的极小部分。
• 该方法在短序列和长序列的合成 HMM 上均表现出稳健性能，转移矩阵估计的误差衰减趋势与理论预期一致。
• 对缓冲区长度和子链间距的理论框架得到了实证验证，确保了随机梯度的无偏性以及平稳分布的保持。