[论文解读] Proximal Langevin Algorithm: Rapid Convergence Under Isoperimetry

Andre Wibisono|arXiv (Cornell University)|Nov 4, 2019

Markov Chains and Monte Carlo Methods参考文献 53被引用 14

一句话总结

本文建立了在满足等周条件（如对数索博列夫或庞加莱不等式）的分布上，使用近端朗之万算法（PLA）进行采样的快速收敛性。在三阶光滑性和对数索博列夫不等式条件下，PLA 在 Kullback-Leibler 散度下实现了最优收敛速率，且对对数索博列夫常数的依赖性相比先前方法有所改进，与在等周条件下已知最快的非梅特罗波利斯采样方法的收敛速率相匹配。

ABSTRACT

We study the Proximal Langevin Algorithm (PLA) for sampling from a probability distribution $ν= e^{-f}$ on $\mathbb{R}^n$ under isoperimetry. We prove a convergence guarantee for PLA in Kullback-Leibler (KL) divergence when $ν$ satisfies log-Sobolev inequality (LSI) and $f$ has bounded second and third derivatives. This improves on the result for the Unadjusted Langevin Algorithm (ULA), and matches the fastest known rate for sampling under LSI (without Metropolis filter) with a better dependence on the LSI constant. We also prove convergence guarantees for PLA in Rényi divergence of order $q > 1$ when the biased limit satisfies either LSI or Poincaré inequality.

研究动机与目标

• 建立近端朗之万算法（PLA）在满足等周条件的分布上进行采样时的快速收敛保证。
• 通过利用隐式更新和更强的光滑性假设，改进现有未调整朗之万算法的收敛速率。
• 在对数索博列夫不等式和庞加莱不等式下，分析 PLA 在 Kullback-Leibler 散度和 Rényi 散度下的偏差与收敛性。
• 证明 PLA 在无需梅特罗波利斯滤波器的情况下，实现了在对数索博列夫不等式下已知最快的收敛速率。
• 在庞加莱不等式下，提供依赖于庞加莱或对数索博列夫常数的 Rényi 散度迭代复杂度界，且在维度上存在依赖因子。

提出的方法

• 本文将 PLA 视为连续时间朗之万动力学的后向欧拉时间离散化，通过近端最小化实现隐式更新。
• 在对数索博列夫不等式（LSI）和势函数 f 的三阶有界导数条件下，建立了 KL 散度的收敛性。
• 对于 Rényi 散度，分析采用算法的时间连续插值，并应用涉及 Rényi 散度率的微分不等式。
• 证明利用了偏差极限分布 νε 满足庞加莱或 LSI 的事实，具体取决于设定，并通过时间连续路径控制散度衰减。
• 关键技术工具包括将近端映射视为双射，以及应用在等周条件下 Rényi 散度衰减的引理。
• 分析区分了两种情形：当 Rényi 散度较大（>1）时，呈现线性衰减；当其较小时（≤1），呈现指数衰减。

实验结果

研究问题

• RQ1 在对数索博列夫不等式和三阶光滑性条件下，近端朗之万算法能否在 KL 散度下实现最优收敛速率？
• RQ2 与现有未调整朗之万算法相比，PLA 是否对对数索博列夫常数的依赖性更优？
• RQ3 当偏差极限满足庞加莱或对数索博列夫不等式时，PLA 在 Rényi 散度下的收敛行为如何？
• RQ4 是否可以控制 PLA 的偏差，使其在无需梅特罗波利斯滤波器的情况下实现 KL 散度下的近最优迭代复杂度？
• RQ5 在等周条件下，PLA 的迭代复杂度与连续时间动力学相比如何？

主要发现

• 在对数索博列夫不等式和三阶光滑性条件下，PLA 在 KL 散度下以 O(1/α) 的速率实现衰减，且对对数索博列夫常数 α 的依赖性相比先前 ULA 结果有所改进。
• 在 KL 散度下，PLA 的迭代复杂度为 O(1/δ)，其中 δ 为目标误差，与在 LSI 条件下非梅特罗波利斯采样已知的最快速率相匹配。
• 在庞加莱不等式下，对于 q>1 阶的 Rényi 散度，收敛速率为 O(e^{-βεk/q})，其复杂度比在 LSI 条件下大 n 倍。
• 当初始 Rényi 散度 ≤1 时，算法在 Rényi 散度下呈现 βε/q 的指数衰减速率，确保快速收敛。
• 在三阶光滑性下，PLA 的偏差被证明为 O(ε²)，相比 ULA 的 O(ε) 偏差，实现了更优的迭代复杂度。
• 分析证明：在 O(1/βε) 次迭代后，Rényi 散度将低于 1，从而可使用指数衰减界实现进一步收敛。