[论文解读] On polynomial-time computation of high-dimensional posterior measures by Langevin-type algorithms

Richard Nickl, Sven Wang|arXiv (Cornell University)|Sep 11, 2020

Markov Chains and Monte Carlo Methods参考文献 70被引用 9

一句话总结

本文在高维贝叶斯推断中，针对非线性、非对数凸模型且具有高斯过程先验的情况下，建立了Langevin型MCMC算法的多项式时间计算保证。结果表明，在局部几何假设和良好初始值的前提下，后验均值与MAP估计可在高概率下以多项式时间计算得出，该方法在Schrödinger方程反问题中得到验证。

ABSTRACT

The problem of generating random samples of high-dimensional posterior distributions is considered. The main results consist of non-asymptotic computational guarantees for Langevin-type MCMC algorithms which scale polynomially in key quantities such as the dimension of the model, the desired precision level, and the number of available statistical measurements. As a direct consequence, it is shown that posterior mean vectors as well as optimisation based maximum a posteriori (MAP) estimates are computable in polynomial time, with high probability under the distribution of the data. These results are complemented by statistical guarantees for recovery of the ground truth parameter generating the data. Our results are derived in a general high-dimensional non-linear regression setting (with Gaussian process priors) where posterior measures are not necessarily log-concave, employing a set of local `geometric' assumptions on the parameter space, and assuming that a good initialiser of the algorithm is available. The theory is applied to a representative non-linear example from PDEs involving a steady-state Schrödinger equation.

研究动机与目标

• 解决非线性、非对数凸模型中高维后验抽样计算不可行的问题。
• 为高维贝叶斯推断中的Langevin型MCMC算法提供非渐近、多项式时间的保证。
• 在几何与统计条件下，建立计算后验均值与最大后验概率（MAP）估计在多项式时间内可行的理论依据。
• 在典型非线性PDE场景中验证该框架：具有反问题结构的稳态Schrödinger方程。
• 弥合贝叶斯非参数理论与Langevin算法的非渐近分析，以确保计算与统计的一致性。

提出的方法

• 采用基于扩散的MCMC算法，目标后验密度与exp(ℓ_N(θ))π(θ)成比例，其中ℓ_N为对数似然，π为高斯过程先验。
• 引入对数似然函数的局部曲率约束，并构建代理似然函数以控制非凸性与非对数凸性。
• 使用小波基对参数空间进行离散化，以在有限维计算中处理无限维函数空间。
• 应用经验过程理论与链式估计方法，控制经验Gram矩阵与其期望之间的偏差。
• 利用Bernstein不等式控制高维尺度下经验过程二次型的尾部概率，确保集中性。
• 假设存在一个良好的初始点，并利用参数空间的几何假设，确保算法在多项式时间内收敛。

实验结果

研究问题

• RQ1 在非对数凸似然下，Langevin型MCMC算法能否在多项式时间内计算高维后验测度？
• RQ2 在何种几何与统计条件下，可在高维非线性模型中高效计算后验均值与MAP估计？
• RQ3 是否可能在Schrödinger方程等非线性PDE反问题中实现贝叶斯推断的多项式时间收敛？
• RQ4 局部曲率与似然结构如何影响Langevin算法的混合时间与计算复杂度？
• RQ5 初始点的质量在确保非凸后验目标下多项式时间收敛中起何种作用？

主要发现

• 当存在良好初始点时，后验均值与MAP估计在高概率下可于多项式时间内计算，且结果成立的概率依赖于数据分布。
• 计算复杂度在维度D、精度水平ε及观测数N上均呈多项式增长。
• 在Schrödinger方程反问题中，该方法在前向映射的局部几何假设与小波基离散化下可实现多项式时间收敛。
• 分析表明，经验Gram矩阵与期望之间的偏差以高概率有界，从而确保后验近似的稳定性。
• 证明依赖于链式估计与Bernstein不等式，以控制经验过程上确界，其尾部概率以exp(−cNδ_N²)的速率衰减，前提是δ_N² = o(1/√N)。
• 该框架适用于一类广义的非线性回归模型，其具有高斯过程先验，即使后验非对数凸，只要满足局部曲率与初始化条件，即可成立。