[论文解读] ParaDRAM: A Cross-Language Toolbox for Parallel High-Performance Delayed-Rejection Adaptive Metropolis Markov Chain Monte Carlo Simulations

Amir Shahmoradi, Fatemeh Bagheri|arXiv (Cornell University)|Aug 21, 2020

Markov Chains and Monte Carlo Methods参考文献 49被引用 8

一句话总结

ParaDRAM 是一个高性能、跨语言的工具箱，用于并行、延迟拒绝自适应 Metropolis 马尔可夫链蒙特卡洛（MCMC）模拟，已在 C/C++、Fortran、MATLAB、Python 等多种语言中实现。它可实现完全自动化、确定性且可扩展的采样，采用高效的紧凑存储方式，支持从个人笔记本电脑到超级计算机的可复现不确定性量化与推断。

ABSTRACT

We present ParaDRAM, a high-performance Parallel Delayed-Rejection Adaptive Metropolis Markov Chain Monte Carlo software for optimization, sampling, and integration of mathematical objective functions encountered in scientific inference. ParaDRAM is currently accessible from several popular programming languages including C/C++, Fortran, MATLAB, Python and is part of the ParaMonte open-source project with the following principal design goals: 1. full automation of Monte Carlo simulations, 2. interoperability of the core library with as many programming languages as possible, thus, providing a unified Application Programming Interface and Monte Carlo simulation environment across all programming languages, 3. high-performance 4. parallelizability and scalability of simulations from personal laptops to supercomputers, 5. virtually zero-dependence on external libraries, 6. fully-deterministic reproducibility of simulations, 7. automatic comprehensive reporting and post-processing of the simulation results. We present and discuss several novel techniques implemented in ParaDRAM to automatically and dynamically ensure the good-mixing and the diminishing-adaptation of the resulting pseudo-Markov chains from ParaDRAM. We also discuss the implementation of an efficient data storage method used in ParaDRAM that reduces the average memory and storage requirements of the algorithm by, a factor of 4 for simple simulation problems, to an order of magnitude and more for sampling complex high-dimensional mathematical objective functions. Finally, we discuss how the design goals of ParaDRAM can help users readily and efficiently solve a variety of machine learning and scientific inference problems on a wide range of computing platforms.

研究动机与目标

• 开发一个统一的高性能 MCMC 框架，自动处理多种编程语言中的复杂蒙特卡洛模拟。
• 确保随机 MCMC 链的完全可复现性和确定性重启，无需用户干预。
• 通过高效的紧凑存储方法，最小化内存和 I/O 开销。
• 利用 MPI 和 PGAS 模型实现从笔记本电脑到超级计算机的无缝并行化，用户无需编写并行代码。
• 在 DRAM 中动态强制满足衰减适应性准则，以保证马尔可夫链的收敛性和良好混合性。

提出的方法

• 实现延迟拒绝自适应 Metropolis（DRAM）算法，通过自动、动态监控适应过程，以满足衰减适应性条件。
• 采用分叉-合并与完美并行化模型，将 MCMC 链分布到多个处理器上，实现负载均衡与高可扩展性。
• 采用一种新颖的紧凑数据存储格式，将内存和存储使用量减少一个数量级，尤其适用于高维问题。
• 为 C/C++、Fortran、MATLAB、Python 及其他语言提供单一、统一的应用程序编程接口（API），确保语法和使用方式的一致性。
• 集成 MPI 和 PGAS（Coarray）并行化范式，支持分布式内存 HPC 系统，同时抽象出用户对底层并行编码的依赖。
• 支持模拟的自动、完全确定性重启，包含结果的全面后处理与报告。

实验结果

研究问题

• RQ1 如何设计一个高性能、跨语言的 MCMC 工具箱，以确保在多种科学计算平台上实现确定性、可复现且可扩展的模拟？
• RQ2 哪些技术能够动态强制自适应 MCMC 算法中的衰减适应性准则，以保证收敛性和良好混合性？
• RQ3 如何在不牺牲功能或可复现性的前提下，最小化 MCMC 模拟中的内存和 I/O 开销？
• RQ4 MPI 和 PGAS 并行化范式在多大程度上可被利用，以实现在 MCMC 采样中实现高可扩展性，同时保持易用性？
• RQ5 如何在多种编程语言中实现统一的高层 API，以简化对高级 MCMC 采样方法的访问，而无需用户具备并行编程知识？

主要发现

• 通过其紧凑的数据存储方法，ParaDRAM 将简单问题的内存和存储需求降低为原来的四分之一，高维问题则可降低一个数量级。
• ParaDRAM 中的 DRAM 算法通过动态、自动监控与调整，成功保持了良好的混合性，并满足了衰减适应性准则。
• 基于 MPI 的并行化在 ParaDRAM 中优于 PGAS（Coarray）实现，主要归因于 MPI 库的成熟度与优化程度，以及当前 Coarray 编译器对高级 RMA 特性的有限支持。
• C/C++、Fortran、MATLAB、Python 等语言的统一 API 实现了模拟设置与执行的一致性，显著降低了各科学领域用户使用门槛。
• ParaDRAM 支持确定性、全自动的模拟重启，确保即使在中断后仍能实现可复现性，这对大规模科学推断至关重要。
• 该库具有高度可扩展性，支持从个人笔记本电脑到世界级超级计算机的模拟，且用户无需编写任何并行代码。