[论文解读] Multivariate-from-Univariate MCMC Sampler: R Package MfUSampler

Alireza S. Mahani, Mansour T. A. Sharabiani|arXiv (Cornell University)|Dec 25, 2014

Markov Chains and Monte Carlo Methods参考文献 9被引用 3

一句话总结

该论文介绍了 R 包 MfUSampler，通过在扩展的吉布斯采样框架中结合一元 MCMC 采样器（如切片采样和自适应拒绝采样），实现了高效的多变量贝叶斯推断。通过利用从联合密度导出的条件分布并应用一元马尔可夫转移，该方法加速了原型开发，并可通过共轭性、条件独立性以及移植到编译语言中实现渐进式性能优化。

ABSTRACT

The R package MfUSampler provides Monte Carlo Markov Chain machinery for generating samples from multivariate probability distributions using univariate sampling algorithms such as Slice Sampler and Adaptive Rejection Sampler. The sampler function performs a full cycle of univariate sampling steps, one coordinate at a time. In each step, the latest sample values obtained for other coordinates are used to form the conditional distributions. The concept is an extension of Gibbs sampling where each step involves, not an independent sample from the conditional distribution, but a Markov transition for which the conditional distribution is invariant. The software relies on proportionality of conditional distributions to the joint distribution to implement a thin wrapper for producing conditionals. Examples illustrate basic usage as well as methods for improving performance. By encapsulating the multivariate-from-univariate logic, MfUSampler provides a reliable library for rapid prototyping of custom Bayesian models while allowing for incremental performance optimizations such as utilization of conjugacy, conditional independence, and porting function evaluations to compiled languages.

研究动机与目标

• 解决在领域特定语言（DSL）如 Stan 或 JAGS 缺乏定制性或效率时，贝叶斯建模中对灵活、高性能 MCMC 采样方法的需求。
• 通过用保持条件不变性的马尔可夫转移步骤替代标准吉布斯采样中的独立一元抽样，克服其局限性。
• 提供一个模块化软件库，将模型定义与采样逻辑解耦，从而在原型开发过程中减少实现错误。
• 通过利用共轭性、条件独立性以及与高性能语言（如 C/C++ 或 CUDA）的集成，实现渐进式性能提升。
• 支持研究人员在完全控制模型结构的同时，利用稳健、无需导数的一元采样器构建自定义贝叶斯模型。

提出的方法

• 实现一种扩展的吉布斯采样框架，其中每个坐标通过一元 MCMC 转移（如切片采样或自适应拒绝采样）进行更新，而非独立抽样。
• 利用联合对数密度与条件分布之间的比例关系，无需显式解析推导即可计算条件分布。
• 使用包装函数（MfU.fEval、MfU.fgEval.f、MfU.fgEval.g）封装条件密度评估，实时计算条件对数密度及其梯度。
• 集成两种一元采样器：带步长扩展与收缩的切片采样（Neal, 2003）和自适应拒绝采样（Gilks & Wild, 1992），对现有 R 代码修改极少。
• 提供主采样例程 MfU.Sample，按顺序遍历各坐标，使用其他变量的最新值依次更新每个坐标。
• 允许用户通过 MfU.Control 控制采样器调优参数，以自定义收敛行为和性能表现。

实验结果

研究问题

• RQ1 是否可以设计一个模块化软件库，仅使用一元采样器实现高效的多变量 MCMC 采样，同时保持正确性并减少实现错误？
• RQ2 在复杂、高度相关的后验分布中，使用一元马尔可夫转移的扩展吉布斯采样与标准独立抽样相比，性能表现如何？
• RQ3 通过渐进式优化策略（如利用共轭性、条件独立性以及将对数密度函数移植到编译语言中）能实现多大程度的性能提升？
• RQ4 MfUSampler 是否可作为复杂贝叶斯模型原型开发的可靠基础，以便后续迁移至高性能或并行化代码？
• RQ5 将采样逻辑与模型定义分离，对贝叶斯推断流水线的可维护性与可扩展性有何影响？

主要发现

• MfUSampler 包成功实现了仅使用一元采样器的多变量 MCMC 采样，在高维贝叶斯层次模型中完成 1000 次迭代的运行时间仅为 1.589 秒。
• 该方法使研究人员能够在无需重写吉布斯采样逻辑的情况下快速原型化复杂贝叶斯模型，显著降低了实现错误的风险。
• 当利用模型结构时，性能提升显著：在层次贝叶斯回归中，由于条件分解，加速比随组数近似线性增长。
• 在大规模模型中，计算时间主要集中在对数密度评估上，而非采样步骤，因此将函数移植到 C/C++ 或 GPU 代码（如 CUDA）是高影响力的优化手段。
• 该包为将核心逻辑重写为高性能语言提供了蓝图，由于采样控制与模型评估之间具有清晰的抽象分离，风险极低。
• MfUSampler 估计的后验均值与真实值高度吻合（例如，sigmamax ≈ 0.753 vs. 真实值 0.750），证实了该方法的准确性与收敛可靠性。