[论文解读] Parallelizing MCMC with Random Partition Trees

Xiangyu Wang, Fangjian Guo+2 more|arXiv (Cornell University)|Jun 10, 2015

Bayesian Methods and Mixture Models参考文献 22被引用 32

一句话总结

本文提出PART，一种新颖的、可轻松并行化的MCMC算法，利用随机划分树聚合子集后验样本，实现在大规模数据集上的高效、可扩展且精确的贝叶斯推断。通过随机划分构建多尺度直方图，PART避免了基于核方法的混合分量指数爆炸和带宽敏感性问题，实现了具有理论保证的一致后验近似，并展现出优越的实验性能。

ABSTRACT

The modern scale of data has brought new challenges to Bayesian inference. In particular, conventional MCMC algorithms are computationally very expensive for large data sets. A promising approach to solve this problem is embarrassingly parallel MCMC (EP-MCMC), which first partitions the data into multiple subsets and runs independent sampling algorithms on each subset. The subset posterior draws are then aggregated via some combining rules to obtain the final approximation. Existing EP-MCMC algorithms are limited by approximation accuracy and difficulty in resampling. In this article, we propose a new EP-MCMC algorithm PART that solves these problems. The new algorithm applies random partition trees to combine the subset posterior draws, which is distribution-free, easy to resample from and can adapt to multiple scales. We provide theoretical justification and extensive experiments illustrating empirical performance.

研究动机与目标

• 通过在数据子集上实现并行采样，解决传统MCMC在大规模数据集上的计算瓶颈。
• 克服现有EP-MCMC方法的局限性，包括重采样效率低下以及基于核密度估计中带宽选择的敏感性。
• 设计一种无需分布假设的、可扩展的组合规则，能够适应多尺度并避免混合分量的指数增长。
• 确保随着后验抽样数量增加，聚合后验的理论一致性。
• 提供一种实用且高效的算法，在实现无通信并行MCMC执行的同时保持精度。

提出的方法

• 使用随机划分树构建多尺度直方图（K-块直方图），将参数空间划分为不相交的矩形块。
• 对每个子集后验，将密度估计为K个块上的归一化直方图，其中各块的权重与该块内后验样本数量成比例。
• 通过乘积密度方程（PDE）组合子集后验，其中完整后验与子集后验的乘积成比例。
• 采用基于树的合并策略，对密度估计进行迭代成对聚合，以保持精度并避免分量数量指数增长。
• 使用随机划分方案以确保对局部密度结构和多尺度的自适应性。
• 使用基于树状直方图的提议分布，通过Metropolis-Hastings算法从聚合密度中进行重采样。

实验结果

研究问题

• RQ1 能否为EP-MCMC设计一种无需分布假设的、可扩展的组合规则，以避免基于核方法的混合分量指数增长？
• RQ2 如何使聚合过程对非高斯、偏态或多重峰后验分布具有鲁棒性？
• RQ3 与基于核密度估计器相比，随机划分树在多大程度上能提升重采样效率并减少混合时间？
• RQ4 随着后验抽样数量的增加，所提方法是否能在后验近似中实现理论一致性？
• RQ5 该方法是否能在多种数据尺度和复杂后验结构下保持精度与效率？

主要发现

• PART在后验近似中实现了理论一致性，随着后验抽样数量增加，真实后验与估计后验之间的总变差距离被有界于O((4C₀D)^{log₂m+1}ε)。
• 通过使用随块数线性增长的树状直方图表示，算法避免了基于核方法的指数级分量爆炸。
• 实验结果表明，PART-KD/ML在双峰分布和罕见事件伯努利分布示例中均优于其他替代方案，能正确捕捉后验质量，并避免局部平滑带来的虚假波纹。
• 在真实数据集（covertype和MiniBooNE）上的贝叶斯逻辑回归实验中，当使用足够多的后验样本时，PART的预测精度与完整似然MCMC相当。
• 该方法对异质子集后验具有鲁棒性，并在多尺度下保持精度，优于非参数与半参数替代方法的尺度检测能力。
• 与基于核的混合模型相比，从聚合的PART密度中重采样效率显著更高，表现为更低的拒绝率和更快的混合速度，这得益于结构化且低维的直方图表示。