[论文解读] Sparse MCMC gpc Finite Element Methods for Bayesian Inverse Problems

Viêt Hà Hòang, Christoph Schwab+1 more|arXiv (Cornell University)|Jul 10, 2012

Markov Chains and Monte Carlo Methods被引用 3

一句话总结

该论文提出稀疏广义多项式混沌（gpc）和多级MCMC（MLMCMC）方法，以降低椭圆PDE中具有不确定系数的贝叶斯反问题的计算复杂度。通过将稀疏gpc代理模型与多级采样相结合，作者在系数和近似方法满足正则性条件时，实现了显著优于标准MCMC的渐近工作-精度边界。

ABSTRACT

We study Bayesian inversion for a model elliptic PDE with unknown diffusion coefficient. We provide complexity analyses of several Markov Chain-Monte Carlo (MCMC) methods for the efficient numerical evaluation of expectations under the Bayesian posterior distribution, given data $\delta$. Particular attention is given to bounds on the overall work required to achieve a prescribed error level $\varepsilon$. Specifically, we first bound the computational complexity of plain MCMC, based on combining MCMC sampling with linear complexity multilevel solvers for elliptic PDE. Our (new) work versus accuracy bounds show that the complexity of this approach can be quite prohibitive. Two strategies for reducing the computational complexity are then proposed and analyzed: first, a sparse, parametric and deterministic generalized polynomial chaos (gpc) surrogate representation of the forward response map of the PDE over the entire parameter space, and, second, a novel Multi-Level Markov Chain Monte Carlo (MLMCMC) strategy which utilizes sampling from a multilevel discretization of the posterior and of the forward PDE. For both of these strategies we derive asymptotic bounds on work versus accuracy, and hence asymptotic bounds on the computational complexity of the algorithms. In particular we provide sufficient conditions on the regularity of the unknown coefficients of the PDE, and on the approximation methods used, in order for the accelerations of MCMC resulting from these strategies to lead to complexity reductions over plain MCMC algorithms for Bayesian inversion of PDEs.}

研究动机与目标

• 降低标准MCMC方法在具有不确定扩散系数的椭圆PDE贝叶斯反问题中的高计算成本。
• 分析当与PDE的线性复杂度多级求解器结合时，普通MCMC的计算复杂度。
• 开发并分析两种策略——稀疏gpc代理建模与MLMCMC——以降低MCMC的复杂度。
• 为所提方法推导工作量与精度之间的渐近边界，建立复杂度得以降低的条件。
• 识别出足以实现复杂度降低于普通MCMC的正则性与近似条件。

提出的方法

• 构建一个稀疏的、参数化的、确定性的广义多项式混沌（gpc）代理模型，以在整个参数空间上表示前向PDE响应映射。
• 利用gpc代理模型通过用多项式展开的快速计算替代昂贵的PDE求解，从而加速MCMC采样。
• 基于后验分布和前向PDE的多级离散化，开发一种新型多级马尔可夫链蒙特卡洛（MLMCMC）策略。
• 将MLMCMC与gpc代理模型结合，进一步降低采样成本，同时保持精度。
• 通过分析系数的正则性与近似误差控制，推导两种方法的渐近工作-精度边界。
• 建立关于系数正则性与近似方法的充分条件，以保证复杂度降低于普通MCMC。

实验结果

研究问题

• RQ1 当应用于具有不确定系数的椭圆PDE贝叶斯反问题时，标准MCMC的计算复杂度是多少？
• RQ2 稀疏广义多项式混沌（gpc）代理模型能否降低贝叶斯反PDE中MCMC的计算负担？
• RQ3 基于PDE层级离散化的多级MCMC策略是否能实现更优的工作-精度缩放性能？
• RQ4 在何种正则性与近似条件下，所提方法能实现复杂度降低于普通MCMC？
• RQ5 在贝叶斯反问题中，gpc-MLMCMC联合方法的渐近工作-精度边界是什么？

主要发现

• 表明使用多级PDE求解器的普通MCMC在实际应用中计算复杂度过高，难以使用。
• 所提出的稀疏gpc代理模型方法通过用快速多项式计算替代重复的PDE求解，显著降低了MCMC的复杂度。
• MLMCMC策略通过利用多级离散化降低MCMC估计器的方差，实现复杂度降低。
• 在系数和近似方法满足充分正则性条件下，gpc-MLMCMC联合方法实现了比普通MCMC更优的渐近工作-精度边界。
• 推导出关于系数正则性与近似精度的充分条件，以确保复杂度降低于标准MCMC。
• 两种所提方法的工作-精度边界表明，在满足这些正则性与近似条件时，复杂度降低在实践中是可实现的。