[论文解读] Parallel tempering as a mechanism for facilitating inference in hierarchical hidden Markov models

Giada Sacchi, Ben Swallow|arXiv (Cornell University)|Nov 19, 2020

Bayesian Methods and Mixture Models参考文献 37被引用 9

一句话总结

本文提出将并行退火（parallel tempering）作为层次化隐马尔可夫模型（HHMMs）中贝叶斯推断的计算增强方法，提升了高维、强相关参数空间中MCMC的混合效率与收敛性。结果表明，尽管并行退火显著提高了采样效率和多模态探索能力，但其有效性在很大程度上取决于温度调度和提议分布的精细调优。

ABSTRACT

The study of animal behavioural states inferred through hidden Markov models and similar state switching models has seen a significant increase in popularity in recent years. The ability to account for varying levels of behavioural scale has become possible through hierarchical hidden Markov models, but additional levels lead to higher complexity and increased correlation between model components. Maximum likelihood approaches to inference using the EM algorithm and direct optimisation of likelihoods are more frequently used, with Bayesian approaches being less favoured due to computational demands. Given these demands, it is vital that efficient estimation algorithms are developed when Bayesian methods are preferred. We study the use of various approaches to improve convergence times and mixing in Markov chain Monte Carlo methods applied to hierarchical hidden Markov models, including parallel tempering as an inference facilitation mechanism. The method shows promise for analysing complex stochastic models with high levels of correlation between components, but our results show that it requires careful tuning in order to maximise that potential.

研究动机与目标

• 解决由于高维性和强参数相关性导致的层次化HMM中贝叶斯推断的计算挑战。
• 评估并行退火是否能改善复杂HHMM中动物运动数据的MCMC收敛性与混合性能。
• 将贝叶斯MCMC结果与先前研究中基于频率学派最大似然估计的结果进行比较，评估其准确性和稳健性。
• 探究调优策略（尤其是温度调度和提议分布设计）在最大化并行退火性能中的作用。
• 探索将并行退火扩展至完整参数集或从过度分散的起始点出发的多条马尔可夫链以进行收敛性评估的可行性。

提出的方法

• 采用贝叶斯框架与Metropolis-Hastings MCMC算法，对港海豹潜水数据的层次化HMM参数进行估计。
• 实现单变量与块更新MCMC采样器，其中块采样采用多元正态提议分布以提升混合效率。
• 通过引入温度递增的后验分布序列实施并行退火，实现不同链之间的交换。
• 使用随机游走Metropolis-Hastings算法，并对转移概率及其他参数的提议标准差进行自适应调优。
• 在不同参数更新策略下，对比标准MCMC与并行退火的结果，以评估收敛性与准确性。
• 通过从过度分散的起始点初始化多条链，并评估有效样本量与潜在尺度缩减因子，评估收敛性。

实验结果

研究问题

• RQ1 在具有强参数相关性和多模态后验分布的层次化HMM中，并行退火是否能显著提升MCMC的混合与收敛性能？
• RQ2 在估计HHMM中的转移概率与状态相关分布时，并行退火相较于标准MCMC的性能表现如何？
• RQ3 对温度调度与提议分布进行调优，对HHMM中贝叶斯推断的效率与准确性有何影响？
• RQ4 贝叶斯MCMC估计与同一层次化模型结构下的频率学派最大似然估计在多大程度上一致？
• RQ5 将并行退火应用于完整参数集或仅部分参数是否可行且有益？这如何影响采样效率？

主要发现

• 并行退火显著增强了MCMC对后验分布的探索能力，尤其在层次化HMM中常见的多模态或高度相关参数空间中表现突出。
• 第二种MCMC算法（采用转移概率与平稳分布的渐进收敛）产生的估计值比第一种使用固定近似值的算法更接近频率学派与贝叶斯基准值。
• 尽管点估计值相似，但并行退火改善了混合性能并降低了自相关性，从而提高了有效样本量，使后验推断更加可靠。
• 该方法对调优极为敏感：最优性能依赖于对温度调度与提议分布的精心选择。
• 从过度分散的起始点运行多条链，并结合并行退火，显著改善了收敛性诊断与链的混合性能。
• 尽管贝叶斯推断计算成本高于频率学派方法，但其在处理多模态后验与整合先验生物学知识方面具有优势。