[论文解读] Sqrt(d) Dimension Dependence of Langevin Monte Carlo

Ruilin Li, Hongyuan Zha+1 more|arXiv (Cornell University)|Sep 8, 2021

Markov Chains and Monte Carlo Methods参考文献 36被引用 5

一句话总结

本文对非调整型朗之万蒙特卡洛（LMC）在2-沃珀斯特因距离下的行为进行了非渐近分析，在对数光滑性、对数强凸性和三阶导数增长条件下，建立了改进的混合时间界 $\widetilde{\mathcal{O}}\left(\frac{\sqrt{d}}{\epsilon}\right)$。该结果优于先前的 $\widetilde{\mathcal{O}}\left(\frac{d}{\epsilon}\right)$ 界，且在维度 $d$ 和精度 $\epsilon$ 上均为最优，采用了一种针对SDE离散化的改进均方分析框架。

ABSTRACT

This article considers the popular MCMC method of unadjusted Langevin Monte Carlo (LMC) and provides a non-asymptotic analysis of its sampling error in 2-Wasserstein distance. The proof is based on a refinement of mean-square analysis in Li et al. (2019), and this refined framework automates the analysis of a large class of sampling algorithms based on discretizations of contractive SDEs. Using this framework, we establish an $ ilde{O}(\sqrt{d}/ε)$ mixing time bound for LMC, without warm start, under the common log-smooth and log-strongly-convex conditions, plus a growth condition on the 3rd-order derivative of the potential of target measures. This bound improves the best previously known $ ilde{O}(d/ε)$ result and is optimal (in terms of order) in both dimension $d$ and accuracy tolerance $ε$ for target measures satisfying the aforementioned assumptions. Our theoretical analysis is further validated by numerical experiments.

研究动机与目标

• 为高维采样中LMC混合时间的最佳已知上界与理论下界之间的差距提供填补。
• 开发一种通用且自动化的框架，通过改进的均方分析方法，分析基于SDE算法的非渐近采样误差。
• 在标准光滑性和凸性假设下，为非调整型LMC建立 $\sqrt{d}$ 的最优维度依赖关系。
• 通过数值实验验证理论界限，展示改进的收敛标度。

提出的方法

• 提出了一种改进的均方分析框架，扩展了Li等人（2019）的前期工作，用于分析收缩型SDE的离散化。
• 该框架结合了高阶矩界，并利用伊藤引理对漂移项和扩散项进行细致估计。
• 关键技术工具包括詹森不等式、柯西-施瓦茨不等式，以及对三阶导数增长的有界性控制，以管理高阶矩。
• 分析追踪了迭代值的二阶矩演化，并在步长约束 $h \leq \frac{1}{4\kappa L}$ 下建立了其一致有界性。
• 通过将离散化误差与底层SDE的收敛速率关联，界定了2-沃珀斯特因距离误差。
• 创新性地结合三角不等式与矩估计，实现了LMC迭代值与目标分布之间更紧密的耦合。

实验结果

研究问题

• RQ1 LMC的 $\widetilde{\mathcal{O}}(d/\epsilon)$ 混合时间界在维度依赖性上是否紧致？
• RQ2 能否通过改进的均方分析框架实现对基于SDE采样算法误差分析的自动化？
• RQ3 在标准正则性条件下，非调整型LMC的混合时间最优维度依赖关系为何？
• RQ4 引入三阶导数增长条件是否能获得比先前结果更紧的界？

主要发现

• 本文在2-沃珀斯特因距离下为LMC建立了 $\widetilde{\mathcal{O}}\left(\frac{\sqrt{d}}{\epsilon}\right)$ 的混合时间界，优于先前的 $\widetilde{\mathcal{O}}\left(\frac{d}{\epsilon}\right)$ 界。
• 在给定假设（包括对数光滑性、对数强凸性和三阶导数增长）下，该改进界在维度 $d$ 和精度容差 $\epsilon$ 上均为最优。
• 该分析框架具有通用性，可自动化处理一大类基于收缩型SDE离散化的采样算法的误差分析。
• 在步长约束 $h \leq \frac{1}{4\kappa L}$ 下，LMC的迭代值在二阶矩上保持一致有界，确保了稳定性。
• 数值实验验证了理论结果，显示其收敛标度随维度增长快于以往预期。