[论文解读] Rapid Convergence of the Unadjusted Langevin Algorithm: Log-Sobolev Suffices.

Santosh Vempala, Andre Wibisono|arXiv (Cornell University)|Mar 20, 2019

Markov Chains and Monte Carlo Methods被引用 8

一句话总结

该论文在最弱假设下建立了非调整Langevin算法（ULA）的快速收敛性：仅要求目标密度 $e^{-f}$ 满足对数Sobolev不等式，且 $f$ 的Hessian矩阵有界。关键贡献在于，无需假设 $f$ 的凸性或高阶光滑性，即可在总变差距离下提供收敛保证，显著扩大了ULA的适用范围。

ABSTRACT

We prove a convergence guarantee on the unadjusted Langevin algorithm for sampling assuming only that the target distribution $e^{-f}$ satisfies a log-Sobolev inequality and the Hessian of $f$ is bounded. In particular, $f$ is not required to be convex or have higher derivatives bounded.

研究动机与目标

• 在目标分布的弱假设下，建立非调整Langevin算法的收敛性保证。
• 消除在ULA收敛性分析中对凸性或有界高阶导数的依赖。
• 表明仅凭对数Sobolev不等式，结合有界Hessian，即可保证快速收敛。

提出的方法

• 分析利用目标分布 $e^{-f}$ 的对数Sobolev不等式作为关键的函数不等式，以控制收敛性。
• 采用耦合论证，以有界总变差距离来控制ULA的分布与目标分布之间的差异。
• 有界Hessian确保了足够正则性，使得离散化误差可被控制。
• 该方法避免依赖强凸性或高阶光滑性，转而依赖对数Sobolev常数与Hessian有界性之间的相互作用。
• 通过连续时间Langevin扩散的漂移与扩散分解，推导出离散化误差的上界。

实验结果

研究问题

• RQ1 在势函数不具凸性的情况下，非调整Langevin算法是否仍能实现快速收敛？
• RQ2 当高阶导数无界时，仅凭对数Sobolev不等式是否足以保证ULA的收敛性？
• RQ3 在何种最小正则性条件下，仍可保证ULA的快速收敛？
• RQ4 函数 $f$ 的有界Hessian如何与对数Sobolev条件相互作用，以控制离散化误差？

主要发现

• 非调整Langevin算法在总变差距离下的收敛速率，对对数Sobolev常数和Hessian有界性呈多项式依赖关系。
• 收敛性在不假设 $f$ 凸性的情况下得以建立，即使高阶导数无界亦成立。
• 只要 $f$ 的Hessian有界，对数Sobolev不等式即足以控制收敛速率。
• 该方法在弱于以往研究的假设下实现了收敛保证，后者通常要求强凸性或有界三阶导数。