[论文解读] Sampling from a log-concave distribution with Projected Langevin Monte Carlo

Sébastien Bubeck, Ronen Eldan+1 more|arXiv (Cornell University)|Jul 9, 2015

Markov Chains and Monte Carlo Methods参考文献 22被引用 69

一句话总结

本文提出了投影Langevin蒙特卡洛（PLMC），一种马尔可夫链方法，通过结合随机梯度更新与欧几里得投影，从紧致凸体上的对数凹分布中进行采样。该方法在均匀目标下实现了$ widetilde{O}(n^7)$步的多项式时间收敛，一般对数凹目标下为$ widetilde{O}(n^{12})$，为基于一阶梯度信息的采样提供了一种替代零阶方法（如hit-and-run）的方案。

ABSTRACT

We extend the Langevin Monte Carlo (LMC) algorithm to compactly supported measures via a projection step, akin to projected Stochastic Gradient Descent (SGD). We show that (projected) LMC allows to sample in polynomial time from a log-concave distribution with smooth potential. This gives a new Markov chain to sample from a log-concave distribution. Our main result shows in particular that when the target distribution is uniform, LMC mixes in $\ ilde{O}(n^7)$ steps (where $n$ is the dimension). We also provide preliminary experimental evidence that LMC performs at least as well as hit-and-run, for which a better mixing time of $\ ilde{O}(n^4)$ was proved by Lov{\\'a}sz and Vempala.

研究动机与目标

• 开发一种基于一阶梯度信息的马尔可夫链蒙特卡洛方法，以高效采样紧致凸集上的对数凹分布。
• 通过投影将Langevin蒙特卡洛算法扩展至约束域，确保即使从较差初始点出发，也能保持稳定性和收敛性。
• 在势函数满足光滑性和Lipschitz条件的前提下，为投影LMC提供混合时间的理论保证。
• 证明PLMC在实际性能上可与最先进的零阶方法（如hit-and-run）相媲美，尽管其依赖于梯度信息。

提出的方法

• 该算法采用投影随机梯度更新：$\overline{X}_{k+1} = \mathcal{P}_K\left(\overline{X}_k - \frac{\eta}{2}\nabla f(\overline{X}_k) + \sqrt{\eta}\xi_k\right)$，其中$\xi_k$为独立同分布的标准高斯噪声。
• 投影$\mathcal{P}_K$确保所有迭代点均位于凸体$K$内部，从而实现对紧支撑分布的采样。
• 分析依赖于耦合技术，并通过控制真实链与近似链之间的Wasserstein距离来控制总变差误差。
• 关键技术工具包括对由投影引入的奇点的扩散过程的创新分析，扩展了无约束情况下的先前结果。
• 该方法在势函数$f$满足$L$-Lipschitz与$\beta$-光滑性假设下被证明收敛。
• 采用步长$\eta = \widetilde{\Theta}(R^2/N)$，其中$R$为包围球的半径，以平衡收敛性与混合性能。

实验结果

研究问题

• RQ1 能否通过投影将Langevin蒙特卡洛方法扩展至紧支撑的对数凹分布，同时保持多项式时间收敛？
• RQ2 投影LMC算法在均匀与非均匀对数凹分布下的混合时间是多少？
• RQ3 在混合时间与实际效率方面，PLMC与零阶方法（如hit-and-run）相比表现如何？
• RQ4 在一阶预言机采样中，能否实现与零阶方法相当或更优的性能，尤其是在高维采样中？

主要发现

• 当目标分布为凸体上的均匀分布时，投影LMC算法的混合时间为$ widetilde{O}(n^7)$步。
• 对于一般对数凹分布，混合时间被界为$ widetilde{O}\left(\frac{R^6 \max(n, RL, R\beta)^{12}}{\varepsilon^{12}}\right)$，其中$R$为包围球的半径。
• 该方法仅使用一阶梯度预言机访问（即梯度信息），而不同于以往需要零阶访问（函数值查询）的方法。
• 实验结果表明，PLMC在Box和Box-and-Ball凸体上计算的体积与hit-and-run相当，且在实际中略快。
• 理论分析表明，由于投影步骤确保了连续运动，即使从凸体的角点初始化，PLMC仍能保持多项式时间收敛。
• 该方法对初始化具有鲁棒性，避免了hit-and-run在靠近边界处初始化时可能出现的长时间等待问题。