[论文解读] Preconditioning the prior to overcome saturation in Bayesian inverse problems

Sergios Agapiou, Peter Mathé|arXiv (Cornell University)|Sep 23, 2014

Probabilistic and Robust Engineering Design参考文献 12被引用 3

一句话总结

本文解决了贝叶斯反问题中的饱和现象，即当真实解比先验允许的更光滑时，后验收缩率会下降的问题。通过使用数据相关的正则化步骤对先验进行预处理，作者构建了一个非中心先验，克服了这一局限性，在此前难以处理的光滑性范围内实现了极小极大最优收缩率。

ABSTRACT

We study Bayesian inference in statistical linear inverse problems with Gaussian noise and priors in Hilbert space. We focus our interest on the posterior contraction rate in the small noise limit. Existing results suffer from a certain saturation phenomenon, when the data generating element is too smooth compared to the smoothness inherent in the prior. We show how to overcome this saturation in an empirical Bayesian framework by using a non-centered data-dependent prior. The center is obtained from a preconditioning regularization step, which provides us with additional information to be used in the Bayesian framework. We use general techniques known from regularization theory. To highlight the significance of the findings we provide several examples. In particular, our approach allows to obtain and, using preconditioning improve after saturation, minimax rates of contraction established in previous studies. We also establish minimax contraction rates in cases which have not been considered so far.

研究动机与目标

• 解决贝叶斯反问题中的饱和现象，即当真实解比先验更光滑时，后验收缩率下降的问题。
• 通过利用数据中的正则化信息修改先验，改善小噪声极限下的后验集中性。
• 在先前方法因光滑性不匹配而失效的情况下，建立极小极大最优收缩率。
• 通过正则化理论提供一个适用于各种反问题的通用框架。
• 证明通过预处理先验，即使在以往被认为难以处理的情况下，也能实现最优收缩率。

提出的方法

• 通过基于数据的预处理正则化步骤改变均值，引入一种非中心先验。
• 使用Tikhonov型正则化计算数据相关的先验中心，提高与真实解的对齐性。
• 应用一般正则化理论技术分析所得后验收缩行为。
• 通过将后验收缩平方分解为偏差、方差和后验扩散三部分进行分析。
• 在小噪声极限下，通过仔细选择参数 α(δ)，实现平方偏差与后验扩散之间的渐近平衡。
• 利用算子单调性和迹不等式控制后验扩散，确保收敛性。

实验结果

研究问题

• RQ1 为何标准贝叶斯反问题在真实解比先验更光滑时会出现饱和现象？
• RQ2 基于数据的先验能否使后验收缩率超越标准先验的限制？
• RQ3 在预处理框架中，使偏差与方差达到最优平衡的参数选择 α(δ) 是什么？
• RQ4 为何预处理先验能使此前不可行的光滑性范围内实现极小极大最优收缩率？
• RQ5 在新先验结构下，后验扩散和收缩率的理论界是什么？

主要发现

• 所提出的预处理先验克服了贝叶斯反问题中的饱和现象，即使真实解比先验允许的更光滑，也能实现最优收缩率。
• 在以往标准先验无法实现的场景中，实现了极小极大收缩率，尤其在真实解的光滑性高于先验时表现显著。
• 通过迹不等式和算子单调性控制后验扩散，确保后验在 δ → 0 时适当集中。
• 在预处理情况下，最优参数选择 α(δ) 平衡了平方偏差与后验扩散，导致在例4.8中收缩率为 δ^{2β/(β+q)} 阶。
• 在无预处理情况下，最佳可实现的收缩率为 δ^{4q/(β+q)}，严格慢于预处理下的改进速率。
• 该方法具有通用性，适用于希尔伯特空间中具有高斯噪声和先验的一类广泛线性反问题。