[论文解读] Quantifying uncertainties in Large-scale Bayesian linear inverse problems using Krylov subspace methods

Arvind K. Saibaba, Julianne Chung+1 more|arXiv (Cornell University)|Aug 27, 2018

Gaussian Processes and Bayesian Inference被引用 1

一句话总结

该论文提出使用Krylov子空间方法，特别是广义Golub-Kahan双对角化，以在大规模贝叶斯线性反问题中高效近似后验协方差矩阵。通过利用已有的Krylov迭代，该方法实现了低成本的不确定性量化和后验抽样，采用预处理Lanczos方法，并提供了理论误差界，且在断层成像中得到验证。

ABSTRACT

For linear inverse problems with a large number of unknown parameters, uncertainty quantification remains a challenging task. In this work, we use Krylov subspace methods to approximate the posterior covariance matrix and describe efficient methods for exploring the posterior distribution. Assuming that Krylov methods (e.g., based on the generalized Golub-Kahan bidiagonalization) have been used to compute an estimate of the solution, we get an approximation of the posterior covariance matrix for `free.' We provide theoretical results that quantify the accuracy of the approximation and of the resulting posterior distribution. Then, we describe efficient methods that use the approximation to compute measures of uncertainty, including the Kullback-Liebler divergence. We present two methods that use preconditioned Lanczos methods to efficiently generate samples from the posterior distribution. Numerical examples from tomography demonstrate the effectiveness of the described approaches.

研究动机与目标

• 解决大规模线性反问题中存在大量未知数时的不确定性量化计算挑战。
• 在基于Krylov的解估计计算完成后，开发一种无需额外计算成本即可近似后验协方差矩阵的方法。
• 通过预处理Lanczos方法实现后验分布的高效抽样。
• 为后验协方差近似及其导出的不确定性度量提供理论误差界。
• 在真实的断层成像反问题上验证该方法的可扩展性和准确性。

提出的方法

• 利用广义Golub-Kahan双对角化生成由系统矩阵和数据构成的Krylov子空间，从而实现后验协方差的低秩近似。
• 利用在解估计过程中已计算出的Krylov迭代，隐式构建后验协方差近似。
• 应用预处理Lanczos方法，高效地从后验分布生成样本，利用协方差近似的低秩结构。
• 使用近似后的后验协方差计算不确定性度量，如先验与后验分布之间的Kullback-Leibler散度。
• 基于残差范数和Krylov过程的收敛性，推导后验协方差近似的理论误差界。
• 通过避免完整的矩阵分解，依赖迭代且无需矩阵存储的操作，确保计算效率。

实验结果

研究问题

• RQ1 能否在不增加额外计算成本的情况下，使用Krylov子空间方法在大规模贝叶斯反问题中近似后验协方差矩阵？
• RQ2 基于Krylov迭代导出的后验协方差近似有多准确？可提供哪些理论保证？
• RQ3 预处理Lanczos方法能否利用低秩协方差近似高效生成后验样本？
• RQ4 所提出的不确定性量化框架在真实大规模应用中的计算与数值性能如何？
• RQ5 当使用近似后验协方差计算时，如Kullback-Leibler散度等不确定性度量的行为如何？

主要发现

• 在基于Krylov的解估计计算完成后，可无需额外成本地近似后验协方差矩阵，这得益于广义Golub-Kahan双对角化的结构。
• 基于Krylov过程的收敛性和残差范数，推导出后验协方差近似的理论误差界。
• 预处理Lanczos方法能够利用低秩协方差近似高效地实现后验抽样，显著降低计算成本。
• 可使用近似协方差准确计算先验与后验分布之间的Kullback-Leibler散度，提供信息增益的定量度量。
• 断层成像中的数值实验验证了该方法的可扩展性和准确性，证明其在大规模场景下具有有效的不确定性量化能力。
• 即使未知数数量极大，该方法仍保持高精度，适用于成像和地球物理学等实际反问题。