[论文解读] Multilevel Dimension-Independent Likelihood-Informed MCMC for Large-Scale Inverse Problems

Tiangang Cui, Gianluca Detommaso+1 more|arXiv (Cornell University)|Oct 28, 2019

Model Reduction and Neural Networks参考文献 32被引用 6

一句话总结

本文提出了一种多级、维度无关的似然信息MCMC方法（ML-DILI），通过将似然信息子空间（LIS）与多级蒙特卡洛方法相结合，加速大规模反问题中的贝叶斯推断。通过递归地使用瑞利-里茨方法构建分层LIS，并重用前向求解中的Cholesky分解因子，该方法显著降低了LIS构建和DILI提议操作的计算成本，与单级DILI-MCMC相比，显著提升了采样效率并降低了单位CPU时间内的积分误差。

ABSTRACT

We present a non-trivial integration of dimension-independent likelihood-informed (DILI) MCMC (Cui, Law, Marzouk, 2016) and the multilevel MCMC (Dodwell et al., 2015) to explore the hierarchy of posterior distributions. This integration offers several advantages: First, DILI-MCMC employs an intrinsic likelihood-informed subspace (LIS) (Cui et al., 2014) -- which involves a number of forward and adjoint model simulations -- to design accelerated operator-weighted proposals. By exploiting the multilevel structure of the discretised parameters and discretised forward models, we design a Rayleigh-Ritz procedure to significantly reduce the computational effort in building the LIS and operating with DILI proposals. Second, the resulting DILI-MCMC can drastically improve the sampling efficiency of MCMC at each level, and hence reduce the integration error of the multilevel algorithm for fixed CPU time. Numerical results confirm the improved computational efficiency of the multilevel DILI approach.

研究动机与目标

• 解决大规模反问题中高维后验分布采样的高计算成本问题。
• 通过将维度无关的MCMC方法与多级蒙特卡洛框架结合，提升其效率。
• 降低在高维参数空间中构建似然信息子空间（LIS）的计算负担。
• 通过利用分层模型和参数离散化结构，实现高效、可扩展且可并行化的MCMC采样。
• 开发一种递归LIS构建方法，重用前向模型求解结果，最小化伴随求解成本。

提出的方法

• 提出一种瑞利-里茨方法，用于在前向模型和参数的多级离散化中递归构建似然信息子空间（LIS）。
• 重用前向模型稀疏直接求解中的Cholesky因子，以高效计算伴随模型作用，避免重复分解。
• 设计了耦合的DILI提议，利用LIS的分层结构提升马尔可夫链的混合性并降低跨层级的相关性。
• 提出一种新型聚合策略，将连续层级上的马尔可夫链耦合，实现MCMC模拟的灵活且高效的并行化。
• 在多级蒙特卡洛中采用展平和估计器，结合不同层级的后验期望，降低整体积分误差。
• 使用无矩阵特征值求解器计算LIS，无需构造大矩阵，从而实现对高维问题的可扩展性。

实验结果

研究问题

• RQ1 在多级设置下，递归构建似然信息子空间（LIS）是否能降低DILI-MCMC的计算成本？
• RQ2 重用前向求解中的Cholesky因子对LIS构建和伴随运算效率有何影响？
• RQ3 与单级DILI-MCMC相比，多级DILI-MCMC方法在单位CPU时间内减少了多少积分误差？
• RQ4 分层LIS结构是否能实现大规模反问题中更高效、可扩展的MCMC采样？
• RQ5 当伴随求解成本较高时，递归LIS构建相比单级LIS在性能上提升了多少？

主要发现

• 递归LIS构建通过重用前向模型求解中的Cholesky因子，显著降低了LIS构建的计算成本，使LIS准备时间相对于MCMC模拟时间可忽略不计。
• 当Cholesky因子被重用时，ML-DILI的性能几乎与MLmixed完全一致，表明LIS构建带来的开销极小。
• 在无法重用Cholesky因子的情况下，递归LIS构建显著减少了伴随求解次数，大幅节省了计算资源。
• 当误差容限高于1.27×10⁻²时，即使计入LIS构建成本，ML-DILI的运行速度也比单级DILI-MCMC快四倍以上。
• 该方法通过在每一层级显著提升采样效率，大幅降低了单位CPU时间内的积分误差，从而加快了多级蒙特卡洛估计器的收敛速度。
• 所提出的聚合策略实现了跨层级MCMC链的灵活且高效的并行化，提升了资源利用率。