[论文解读] Scalable Nonparametric Sampling from Multimodal Posteriors with the Posterior Bootstrap

Edwin Fong, Simon Lyddon+1 more|arXiv (Cornell University)|May 24, 2019

Bayesian Methods and Mixture Models被引用 11

一句话总结

该论文提出了一种可扩展的非参数贝叶斯推断方法，利用后验自助法通过优化随机化目标函数从多模态后验分布中抽样。通过使用狄利克雷过程先验来处理模型误设问题，该方法实现了从非参数后验中进行毫不费力的并行、精确抽样，与传统MCMC相比，显著改善了后验各模态之间的混合效果。

ABSTRACT

Increasingly complex datasets pose a number of challenges for Bayesian inference. Conventional posterior sampling based on Markov chain Monte Carlo can be too computationally intensive, is serial in nature and mixes poorly between posterior modes. Further, all models are misspecified, which brings into question the validity of the conventional Bayesian update. We present a scalable Bayesian nonparametric learning routine that enables posterior sampling through the optimization of suitably randomized objective functions. A Dirichlet process prior on the unknown data distribution accounts for model misspecification, and admits an embarrassingly parallel posterior bootstrap algorithm that generates independent and exact samples from the nonparametric posterior distribution. Our method is particularly adept at sampling from multimodal posterior distributions via a random restart mechanism. We demonstrate our method on Gaussian mixture model and sparse logistic regression examples.

研究动机与目标

• 解决在多模态后验分布中MCMC计算效率低下和混合效果差的问题。
• 提供一种可扩展的传统MCMC替代方法，其本质上是并行的，避免了串行依赖。
• 通过在数据分布上使用狄利克雷过程先验，来处理复杂数据集中的模型误设问题。
• 通过随机化优化框架实现精确后验抽样，该框架对多模态性具有鲁棒性。
• 在高斯混合模型和稀疏逻辑回归等复杂模型上展示方法的有效性。

提出的方法

• 该方法在未知数据分布上使用狄利克雷过程先验，以建模不确定性并处理模型误设问题。
• 它引入了一种从后验自助法导出的随机化目标函数，通过优化实现独立抽样。
• 后验自助法算法通过从狄利克雷分布中抽取权重来重采样数据，从而从非参数后验中生成独立样本。
• 该方法是毫不费力并行的，因为每个样本都可以通过优化随机化目标函数独立生成。
• 随机重启机制增强了对多个后验模态的探索，尤其在多模态分布中表现更优。
• 该方法通过用优化随机化目标替代马尔可夫链模拟，避免了MCMC，从而确保了可扩展性。

实验结果

研究问题

• RQ1 能否设计一种非参数贝叶斯方法，使其在具有多模态后验的复杂高维数据集中实现高效扩展？
• RQ2 如何在不依赖参数假设的前提下，显式地在后验抽样中考虑模型误设问题？
• RQ3 能否在保持精确性和避免MCMC收敛问题的前提下，使后验抽样实现毫不费力的并行化？
• RQ4 随机重启机制在多模态后验分布中对各模态间混合效果的提升程度如何？
• RQ5 与传统MCMC相比，该方法在真实世界模型上的计算效率和抽样精度方面表现如何？

主要发现

• 该方法通过优化实现从非参数后验分布中进行精确的独立抽样，避免了MCMC的串行依赖。
• 后验自助法框架本质上是并行的，与传统MCMC相比，显著提升了计算可扩展性。
• 狄利克雷过程先验能有效处理模型误设问题，增强了在复杂数据环境下的鲁棒性。
• 随机重启机制能有效探索多个后验模态，改善了多模态分布中的混合效果。
• 在高斯混合模型和稀疏逻辑回归上的实证结果表明，该方法性能优异且具备良好的可扩展性。
• 与标准MCMC相比，该方法在高维或复杂似然函数景观下的模态间混合效果更优。