[论文解读] Posterior convergence for approximated unknowns in non-Gaussian statistical inverse problems

Sari Lasanen|arXiv (Cornell University)|Dec 5, 2011

Bayesian Methods and Mixture Models参考文献 107被引用 15

一句话总结

本文通过广义贝叶斯公式，建立了在非高斯统计反问题中对未知量的近似所对应的后验收敛性，证明了当未知量的有限维近似被细化时，后验分布会弱收敛、集合收敛以及变差收敛。其主要贡献是一个框架，可在广泛的非高斯噪声模型下确保问题的适定性与收敛性，包括针对非高斯测度的广义Cameron-Martin公式。

ABSTRACT

The statistical inverse problem of estimating the probability distribution of an infinite-dimensional unknown given its noisy indirect observation is studied in the Bayesian framework. In practice, one often considers only finite-dimensional unknowns and investigates numerically their probabilities. As many unknowns are function-valued, it is of interest to know whether the estimated probabilities converge when the finite-dimensional approximations of the unknown are refined. In this work, the generalized Bayes formula is shown to be a powerful tool in the convergence studies. With the help of the generalized Bayes formula, the question of convergence of the posterior distributions is returned to the convergence of the finite-dimensional (or any other) approximations of the unknown. The approach allows many prior distributions while the restrictions are mainly for the noise model and the direct theory. Three modes of convergence of posterior distributions are considered -- weak convergence, setwise convergence and convergence in variation. The convergence of conditional mean estimates is studied. Several examples of applicable infinite-dimensional non-Gaussian noise models are provided, including a generalization of the Cameron-Martin formula for certain non-Gaussian measures. Also, the well-posedness of Bayesian statistical inverse problems is studied.

研究动机与目标

• 建立当无限维未知量的有限维近似被细化时，后验分布收敛的条件。
• 将广义贝叶斯公式的适用性扩展至统计反问题中的非高斯噪声模型。
• 研究在非高斯且非支配噪声假设下贝叶斯反问题的适定性。
• 分析在未知量近似背景下后验均值与条件数学期望的收敛性。
• 提供在非支配情形下后验分布连续性与收敛性的充分条件，即使存在潜在不连续性。

提出的方法

• 利用广义贝叶斯公式，将后验收敛性问题转化为未知量有限维近似的收敛性问题。
• 在局部凸Souslin拓扑向量空间中应用广义贝叶斯公式，以处理无限维未知量与观测值。
• 采用噪声测度 με+L(x) 关于 μX 几乎处处支配的概念，以确保后验分布的连续性与收敛性。
• 推导出适用于非高斯测度的Kakutani型广义Cameron-Martin公式，从而支持新的非高斯噪声模型类别。
• 在对噪声与直接模型的假设尽可能弱的前提下，分析三种收敛模式：弱收敛、集合收敛及变差收敛。
• 提出一种适用于可分Banach空间上先验测度的通用准蒙特卡洛近似方法，该方法独立于离散化算子的逐点收敛性。

实验结果

研究问题

• RQ1 在非高斯反问题中，当未知量通过有限维模型近似时，后验分布在何种条件下收敛？
• RQ2 广义贝叶斯公式如何促进在无限维、非高斯设定下后验收敛性的分析？
• RQ3 噪声测度 μX-几乎处处支配在确保后验分布连续性与收敛性方面起什么作用？
• RQ4 Cameron-Martin公式能否推广至非高斯测度？其对非高斯噪声模型有何影响？
• RQ5 未知量的不同近似方案如何影响后验均值与MAP估计的收敛性？

主要发现

• 当未知量的有限维近似被细化时，若近似先验测度适当收敛，则后验分布会以变差收敛。
• 广义贝叶斯公式通过将问题简化为未知量近似收敛性分析，而非完整后验分布的分析，从而实现收敛性分析。
• 在缺乏 μX-几乎处处支配的情况下，后验分布可能出现不连续性，这可能导致观测值替换带来的误差被放大。
• 针对某些非高斯测度，推导出广义Cameron-Martin公式，从而可在反问题中支持广泛类别的非高斯噪声模型。
• 在给定无限维观测值时的后验分布可能比在有限维观测值时更简单，提示可采用新的数值近似策略。
• 近似先验的弱收敛不足以保证最大后验（MAP）估计的收敛性，这一点通过总变差先验的反例得以证实。