[论文解读] Numerical posterior distribution error control and expected Bayes Factors in the bayesian Uncertainty Quantification of Inverse Problems

J. Andrés Christen, Marcos A. Capistrán+1 more|arXiv (Cornell University)|Jul 7, 2016

Probabilistic and Robust Engineering Design参考文献 16被引用 3

一句话总结

本文提出了一种针对贝叶斯不确定性量化中反问题数值求解器的实用误差控制框架，确保数值后验分布与理论后验分布无法区分。通过使用期望贝斯因子来约束求解器的全局误差，该方法实现了计算高效、自适应的求解器，即使在低分辨率近似下也能保持后验精度。

ABSTRACT

In the bayesian analysis of Inverse Problems most relevant cases the forward maps (FM, or regressor function) are defined in terms of a system of (O, P)DE's with intractable solutions. These necessarily involve a numerical method to find approximate versions of such solutions and lead to a numerical/approximate posterior distribution. Recently several results have been published on the regularity conditions required on such numerical methods to ensure converge of the numerical to the theoretical posterior. However, more practical guidelines are needed to ensure a suitable working numerical posterior. ]Capistran2016] prove for ODE's that the Bayes Factor of the approximate vs the theoretical model tends to 1 in the same order as the numerical method order. In this work we generalize the latter paper in that we consider 1) also PDE's, 2) correlated observations, 3) practical guidelines in a multidimensional setting and 4) explore the use of expected Bayes Factors. This permits us to obtain bounds on the absolute global errors to be tolerated by the FM numerical solver, which we illustrate with some examples. Since the Bayes Factor is kept above 0.95 we expect that the resulting numerical posterior is basically indistinguishable from the theoretical posterior, even though we are using an approximate numerical FM. The method is illustrated with some examples using synthetic data.

研究动机与目标

• 解决在贝叶斯不确定性量化（UQ）中反问题的数值求解器精度选择方面缺乏实用指导的问题。
• 将先前的理论收敛结果扩展至涉及相关观测的常微分方程（ODEs）和偏微分方程（PDEs）的实际、现实世界场景。
• 提供一个全局求解器误差的可量化边界，确保数值后验在实际应用中与理论后验无法区分。
• 使自适应、低分辨率求解器的使用成为可能，而不会损害后验精度，从而降低计算成本。
• 建立一种对观测噪声具有鲁棒性、并适用于多维复杂系统的误差控制框架。

提出的方法

• 使用期望贝斯因子（BFs）作为指标，将具有近似前向映射的数值模型与具有精确前向映射的理论模型进行比较。
• 推导出数值求解器全局误差的边界，使得期望贝斯因子保持接近1，表明后验差异可忽略不计。
• 将该边界应用于常微分方程（ODE）和偏微分方程（PDE）系统，利用自适应网格加密动态调整求解器分辨率。
• 采用 twalk MCMC 算法对高分辨率和自适应求解器下的后验分布进行采样。
• 利用数值方法的正则性条件和收敛阶（如龙格-库塔法、不连续伽辽金法）将求解器误差与后验误差关联起来。
• 在示例中使用合成数据验证：自适应求解器在显著降低计算成本的同时，实现了与高分辨率参考结果相似的后验分布。

实验结果

研究问题

• RQ1 如何对数值求解器误差进行边界控制，以确保在贝叶斯UQ中，所得的数值后验与理论后验在实际应用中无法区分？
• RQ2 数值求解器的收敛阶与数值模型和理论模型之间贝斯因子之间的关系是什么？
• RQ3 在贝叶斯反问题中，是否可以使用自适应、低分辨率求解器，而不会在后验分布中引入可检测的误差？
• RQ4 观测噪声如何影响后验推断中可容忍的求解器误差水平？
• RQ5 所提出的误差控制框架在具有相关观测的基于PDE的反问题中，其通用性可扩展到何种程度？

主要发现

• 数值求解器的全局误差必须被限制在与观测噪声标准差σ成正比、与样本量平方根成反比的阈值内，以确保期望贝斯因子接近1。
• 在ODE示例中，使用自适应网格将CPU时间减少了60%（从10.95小时降至4.27小时），同时生成的后验分布与高分辨率参考结果无法区分。
• 在PDE示例（Burgers方程）中，带有误差控制的自适应求解器生成的后验分布几乎与512点网格的结果完全一致，证实了该方法的准确性和高效性。
• 期望贝斯因子以与数值方法全局误差相同的速率收敛至1，验证了求解器精度与后验保真度之间的理论关联。
• 只要将全局误差控制在推导出的边界内，该方法即可允许使用精度较低、计算成本更低的求解器，而不会损害不确定性量化。
• 该框架适用于ODE和PDE系统，并可推广至相关观测，为现实世界中的贝叶斯UQ提供了实用且可操作的指导。