[论文解读] On log-concave approximations of high-dimensional posterior measures and stability properties in non-linear inverse problems

Jan Bohr, Richard Nickl|arXiv (Cornell University)|May 17, 2021

Geochemistry and Geologic Mapping被引用 6

一句话总结

本文建立了在非线性反问题中，高维、非对数凹后验测度可被 Wasserstein 距离下的对数凹测度近似的条件。在这些条件下，基于梯度的采样算法（如未调整的 Langevin 蒙特卡洛）可实现多项式时间收敛，且初始条件为“温暖”时，可高效实现如非阿贝尔 X 射线变换等复杂 PDE 驱动模型的贝叶斯推断。

ABSTRACT

The problem of efficiently generating random samples from high-dimensional and non-log-concave posterior measures arising from nonlinear regression problems is considered. Extending investigations from arXiv:2009.05298, local and global stability properties of the model are identified under which such posterior distributions can be approximated in Wasserstein distance by suitable log-concave measures. This allows the use of fast gradient based sampling algorithms, for which convergence guarantees are established that scale polynomially in all relevant quantities (assuming `warm' initialisation). The scope of the general theory is illustrated in a non-linear inverse problem from integral geometry for which new stability results are derived.

研究动机与目标

• 解决在非线性反问题中，从高维、非对数凹后验分布中采样的计算挑战。
• 识别使此类后验测度可被对数凹测度近似的正向模型的局部与全局稳定性条件。
• 在高维、非对数凹设定下，为基于梯度的采样算法（如 ULA）建立多项式时间收敛保证。
• 通过逼近理论，将快速采样方法的应用范围从对数凹后验扩展至更广场景。
• 推导非阿贝尔 X 射线变换的新稳定性估计，该类问题为非线性反问题的关键类别。

提出的方法

• 在正向算子和似然函数满足解析性假设的前提下，提出关于后验测度在 Wasserstein 距离下的通用对数凹近似定理。
• 利用 Zernike 多项式尺度和 Sobolev 型空间的功能分析框架，刻画正向算子的正则性。
• 应用 X 射线变换及其线性化的映射性质，推导出在 $L^2$ 和 $L^rown$ 范数下的稳定性估计。
• 采用未调整的 Langevin 算法（ULA），在假设“温暖”初始化的前提下，实现收敛时间在维度 $D$、样本量 $N$ 和逆精度 $rown^{-1}$ 上的多项式尺度保证。
• 在真实后验下，建立对数似然及其梯度的一阶与二阶矩的界，从而控制近似误差。
• 结合三角不等式估计与积分算子（如 $I_rown$, $I_rown$）的算子范数界，控制完整模型与截断模型之间的差异。

实验结果

研究问题

• RQ1 在何种正向模型条件下，高维非线性反问题中的非对数凹后验测度可在 Wasserstein 距离下被对数凹测度近似？
• RQ2 基于梯度的采样算法如何在高维、非对数凹后验分布中实现多项式时间收敛？
• RQ3 为使对数凹近似定理适用于非阿贝尔情形，X 射线变换需具备何种稳定性性质？
• RQ4 在真实后验下，对数似然及其导数的矩如何表现？它们对采样收敛性有何影响？
• RQ5 在维度和样本量上，真实后验与其对数凹代理之间的近似误差是否可统一有界？

主要发现

• 在数据分布下，若正向模型满足局部与全局稳定性条件，则后验测度 $rown( heta|Z^{(N)})$ 可以以高概率在 Wasserstein 距离下被对数凹测度近似。
• 在这些条件下，未调整的 Langevin 算法（ULA）的混合时间界限在 $D$、$N$ 和 $rown^{-1}$ 上呈多项式增长，精度为 $rown$ 时迭代次数为 $O(N^{b_1}D^{b_2}rown^{-b_3})$。
• 该方法适用于非阿贝尔 X 射线变换问题，其中在 Zernike 多项式尺度下推导出 X 射线变换及其线性化的新型稳定性估计。
• 当 $rown o 0$ 时，完整与截断 X 射线变换之差的 $L^2$-范数有界于 $O(rown D^{-2})$，从而确保近似控制。
• 在真实后验下，对数似然的梯度与 Hessian 的期望在 $D$ 上一致有界，其界仅含多项式因子。
• 线性化 X 射线变换及其共轭算子的算子范数在 $L^rown$ 与 $L^2$ 拓扑下一致有界，从而可控制 Hessian 项中的近似误差。