[论文解读] Particle Gibbs Split-Merge Sampling for Bayesian Inference in Mixture Models

Alexandre Bouchard‐Côté, Randal Douc+1 more|arXiv (Cornell University)|Aug 11, 2015

Bayesian Methods and Mixture Models被引用 4

一句话总结

本文提出了一种新型的马尔可夫链蒙特卡洛方法——粒子吉布斯分裂-合并（PGSM）采样器，用于共轭混合模型中的贝叶斯推断。该方法基于粒子吉布斯框架，实现了无需复杂梅特罗波利斯-黑斯廷斯接受率的高效分裂-合并移动。在合成数据和地理定位数据上的实验表明，在固定计算预算下，该方法在收敛速度和混合效率方面优于现有分裂-合并采样器。

ABSTRACT

This paper presents a new Markov chain Monte Carlo method to sample from the posterior distribution of conjugate mixture models. This algorithm relies on a flexible split-merge procedure built using the particle Gibbs sampler. Contrary to available split-merge procedures, the resulting so-called Particle Gibbs Split-Merge sampler does not require the computation of a complex acceptance ratio, is simple to implement using existing sequential Monte Carlo libraries and can be parallelized. We investigate its performance experimentally on synthetic problems as well as on geolocation and cancer genomics data. In all these examples, the particle Gibbs split-merge sampler outperforms state-of-the-art split-merge methods by up to an order of magnitude for a fixed computational complexity.

研究动机与目标

• 解决标准吉布斯采样器在大规模贝叶斯混合模型中因混合性能差和顺序更新而导致的效率低下问题。
• 克服传统分裂-合并MCMC方法因依赖复杂梅特罗波利斯-黑斯廷斯接受率而带来的计算复杂性。
• 开发一种可扩展、模块化的MCMC采样器，适用于共轭混合模型，并能与现有顺序蒙特卡洛（SMC）库良好集成。
• 通过在分裂-合并框架中利用基于SMC的条件模拟，实现并行与分布式推断。
• 通过结合SMC与高效且对局部极小值不敏感的分裂-合并移动，提升高维聚类问题中的后验探索能力。

提出的方法

• 基于粒子吉布斯采样器中的条件顺序蒙特卡洛（SMC）算法，提出一种分裂-合并移动机制，实现对聚类配置的高效重模拟。
• 利用PG框架生成分裂或合并聚类的提议，无需计算接受率，而是依赖SMC固有的重采样与传播机制。
• 设计两种通用的、非拓扑结构的锚点提议分布：聚类感知（CI）与阈值感知（TI），均使用基于似然的权重来引导锚点选择。
• 通过计算合并聚类与单个聚类之间的似然比，实现CI提议，以优先选择高似然的合并操作。
• 通过使用中国餐馆过程（CRP）的预测概率来引导块选择，并设置阈值以过滤低概率聚类，实现TI提议。
• 将PGSM采样器集成到现有的SMC软件栈中，复用高级SMC技术，如自适应重采样与分布式计算。

实验结果

研究问题

• RQ1 能否为共轭混合模型设计一种分裂-合并MCMC算法，使其避免复杂的梅特罗波利斯-黑斯廷斯接受率，同时保持高混合效率？
• RQ2 与传统的吉布斯或梅特罗波利斯-黑斯廷斯移动相比，基于SMC的条件模拟在后验探索中的收敛速度和混合性能如何？
• RQ3 通用的、非拓扑结构的锚点提议分布是否能在不了解观测空间几何结构的前提下，有效引导分裂-合并移动？
• RQ4 在固定计算预算下，PGSM采样器是否能实现比现有分裂-合并方法更优的后验采样效率？
• RQ5 PGSM采样器在多大程度上可借助现有SMC库及并行/分布式推断技术实现可扩展性？

主要发现

• 在相同计算预算下，PGSM采样器在合成实验中表现出比现有分裂-合并采样器更快的收敛速度和更优的混合性能。
• PGSM采样器对锚点提议的选择具有鲁棒性，聚类感知（CI）与阈值感知（TI）提议均取得了优异结果。
• 在高维聚类任务中，该方法优于标准吉布斯采样器，尤其在聚类较大或重叠较多时表现更优。
• 由于无需接受率，其实现更简单，且相比传统分裂-合并MCMC方法，调参复杂度显著降低。
• PGSM采样器可从SMC库中获益，支持高效的并行化与自适应机制，从而在大规模数据集上实现更好的可扩展性。
• 在地理定位数据上的实证结果表明，该方法在具有复杂非i.i.d.结构的真实聚类应用中具有实际应用价值。