[论文解读] Stochastic Proximal Langevin Algorithm: Potential Splitting and Nonasymptotic Rates

Adil Salim, Dmitry Kovalev+1 more|arXiv (Cornell University)|May 28, 2019

Markov Chains and Monte Carlo Methods参考文献 36被引用 4

一句话总结

本文提出了一种新型采样方法——随机近端朗之万算法（SPLA），用于对具有复合势函数的对数凹分布进行采样，其中势函数由一个光滑的随机项和多个非光滑凸项组成。SPLA 对光滑部分使用随机梯度，对每个非光滑项使用随机近端算子，在凸性和强凸性假设下，分别实现了 KL 散度和 Wasserstein 距离的非渐近次线性和线性收敛速率。

ABSTRACT

We propose a new algorithm---Stochastic Proximal Langevin Algorithm (SPLA)---for sampling from a log concave distribution. Our method is a generalization of the Langevin algorithm to potentials expressed as the sum of one stochastic smooth term and multiple stochastic nonsmooth terms. In each iteration, our splitting technique only requires access to a stochastic gradient of the smooth term and a stochastic proximal operator for each of the nonsmooth terms. We establish nonasymptotic sublinear and linear convergence rates under convexity and strong convexity of the smooth term, respectively, expressed in terms of the KL divergence and Wasserstein distance. We illustrate the efficiency of our sampling technique through numerical simulations on a Bayesian learning task.

研究动机与目标

• 为涉及光滑项和非光滑项的复合势函数模型，开发一种可扩展的贝叶斯推断采样算法。
• 通过使用随机近端算子替代完整的近端算子，实现在全量近端算子不可行时的高效采样。
• 为所提出的算法建立基于 KL 散度和 Wasserstein 距离的非渐近收敛保证。
• 将优化领域的分裂算子技术与随机采样方法相结合，以提升数值稳定性和可扩展性。

提出的方法

• SPLA 将势函数分解为 $ U(x) = F(x) + \sum_{i=1}^n G_i(x) $，其中 $ F $ 为光滑函数，每个 $ G_i $ 为凸函数但可能非光滑。
• 该算法使用近似 $ F $ 的随机梯度 $ f(x,\xi) $，以及近似每个 $ G_i $ 的随机近端算子 $ g_i(x,\xi) $。
• 在每次迭代中，SPLA 先执行一次朗之万步骤，随后使用独立采样的 $ \xi $-相关函数依次执行 $ n $ 次近端更新。
• 该方法将随机 Passty 算法推广至采样场景，能够高效处理大规模复合后验分布。
• 算法通过顺序更新实现：$ x^{k+1} = \text{prox}_{\gamma g_{e_n}}( \cdots \text{prox}_{\gamma g_{e_1}}( z^k + \sqrt{2\gamma} W^k ) \cdots ) $，其中 $ z^k $ 为梯度步长。
• 理论分析通过引入涉及 KL 散度和 Wasserstein 距离的递推关系，在凸性和强凸性假设下推导出收敛速率。

实验结果

研究问题

• RQ1 能否有效将随机近端分裂技术适配至复合势函数的朗之万采样？
• RQ2 该方法在 KL 散度和 Wasserstein 距离上的非渐近收敛速率可建立为何种形式？
• RQ3 与随机次梯度相比，使用随机近端算子在数值稳定性和收敛速度方面有何差异？
• RQ4 当全量近端算子在大规模图和高维模型中计算成本过高时，该方法是否能实现高效扩展？

主要发现

• 在光滑项 $ F $ 为凸函数时，SPLA 实现了非渐近次线性收敛速率 $ \mathcal{O}(1/\varepsilon^2) $ 次迭代，可将 KL 散度降至 $ \varepsilon $ 以下，步长 $ \gamma = \mathcal{O}(\varepsilon) $。
• 在 $ F $ 为 $ \alpha $-强凸函数时，Wasserstein 距离线性减少至大小为 $ \mathcal{O}(\gamma / \alpha) $ 的振荡区域，需 $ \mathcal{O}(1/\varepsilon \log(1/\varepsilon)) $ 次迭代才能使误差低于 $ \varepsilon $。
• KL 散度线性收敛至目标值的 $ \mathcal{O}(\gamma) $ 范围内，收敛速率依赖于强凸性参数 $ \alpha $。
• 在真实世界图（Facebook、YouTube、Amazon、DBLP）上的数值实验表明，SPLA 在收敛速度和数值稳定性方面优于 SSLA（随机次梯度）和 ProxLA（全量近端算子）。
• SPLA 的迭代频率约为 ProxLA 的 100 倍，在大规模图上早期迭代阶段显著更快。
• 使用随机近端算子相比随机次梯度，能实现更稳定和高效的采样，尤其在 $ \ell^1 $-型正则化项中表现更优。