[论文解读] Reversible jump Markov chain Monte Carlo and multi-model samplers

Yanan Fan, Scott A. Sisson+1 more|arXiv (Cornell University)|Jan 13, 2010

Markov Chains and Monte Carlo Methods参考文献 75被引用 33

一句话总结

本文全面概述了可逆跳变马尔可夫链蒙特卡洛（RJ-MCMC）方法，这是一种强大的贝叶斯推断技术，能够实现维度可变的模型空间探索。通过将梅特罗波利斯-黑斯廷斯算法扩展至处理跨维移动，RJ-MCMC 允许联合估计模型索引与模型特异性参数，从而实现对多个模型的完整后验推断，其关键贡献涵盖理论基础、性能提升技术以及多模型问题的输出分析。

ABSTRACT

To appear in the second edition of the MCMC handbook, S. P. Brooks, A. Gelman, G. Jones and X.-L. Meng (eds), Chapman & Hall.

研究动机与目标

• 提供可逆跳变 MCMC 算法在参数空间维度变化情况下的贝叶斯模型比较中的全面理论与实践综述。
• 解决在模型选择与模型平均中常见的参数空间维度随模型变化时的 MCMC 抽样挑战。
• 介绍先进技术——如并行热浴、群体 MCMC 和序贯蒙特卡洛——以改善 RJ-MCMC 抽样器的混合性与收敛性。
• 通过实例演示和输出分析与收敛性评估的最佳实践，指导研究人员实现 RJ-MCMC。
• 识别开放的研究挑战，包括自动化、自适应 MCMC、完美抽样以及多模型设置下的似然无关推断。

提出的方法

• 将标准梅特罗波利斯-黑斯廷斯算法扩展至参数向量维度在不同模型间变化的一般状态空间，利用细致平衡条件确保目标后验分布不变。
• 采用可逆跳变转移核，通过在不同模型空间中提出新状态并基于后验密度与提议密度的比值计算接受概率，实现不同维度模型间的转移。
• 使用接受概率公式：$\alpha(\boldsymbol{\theta}, \boldsymbol{\theta}^\prime) = \min\left\{1, \frac{\pi(\boldsymbol{\theta}|\boldsymbol{x}) q(\boldsymbol{\theta}, \boldsymbol{\theta}^\prime)}{\pi(\boldsymbol{\theta}^\prime|\boldsymbol{x}) q(\boldsymbol{\theta}^\prime, \boldsymbol{\theta})} \right\}$，确保细致平衡并收敛至联合后验分布。
• 应用辅助变量方法与几何抽样技术，通过将固定维空间的样本转换至模型特异性子空间，提升混合性，尤其在嵌套模型设置中。
• 整合先进抽样策略，如并行热浴与群体 MCMC，其中多个马尔可夫链分别针对后验的温度版本进行抽样，并通过交换状态来增强跨模型的混合性。
• 利用序贯蒙特卡洛（SMC）框架，在模型空间的子集上运行多个 SMC 抽样器，随后合并结果以提升对低后验概率模型的探索能力。

实验结果

研究问题

• RQ1 如何将 MCMC 抽样扩展至处理参数空间维度在不同模型间变化的跨维移动？
• RQ2 在可逆跳变框架中，确保细致平衡并收敛至正确联合后验分布的理论条件与接受机制是什么？
• RQ3 在高维或多重模态的模型空间中，如何改善 RJ-MCMC 的混合性与收敛性？
• RQ4 在多模型推断中，结合多个 MCMC 抽样器（如并行热浴或 SMC）的最有效策略是什么？
• RQ5 RJ-MCMC 的自动化面临哪些挑战？自适应或似然无关方法在多模型设置中如何进一步拓展？

主要发现

• 可逆跳变 MCMC 算法通过构建一个在模型索引与参数空间间转移的单一马尔可夫链，成功实现了对维度可变模型的联合后验推断。
• 接受概率公式确保了细致平衡，并使抽样过程收敛至正确的联合后验分布 $\pi(k, \boldsymbol{\theta}_k | \boldsymbol{x})$，即使在不同维度模型之间移动时亦然。
• 与单链 RJ-MCMC 相比，并行热浴与群体 MCMC 方法显著提升了混合性与收敛速度，尤其在复杂且多重模态的后验分布结构中表现更优。
• 序贯蒙特卡洛方法通过结合多个针对模型空间不同区域的抽样器，实现了对低后验概率模型更精确的探索。
• 在递减适应条件下应用自适应 MCMC 技术可提升抽样器效率，但需谨慎处理链历史与提议分布的自适应过程。
• 完美抽样与似然无关推断在多模型 RJ-MCMC 背景下仍发展不足，为未来研究提出了重大开放挑战。