[论文解读] Stochastic Gradient Langevin Dynamics on a Distributed Network.

Vyacheslav Kungurtsev|arXiv (Cornell University)|Jan 2, 2020

Markov Chains and Monte Carlo Methods被引用 5

一句话总结

本文提出在分布式网络上采用去中心化的随机梯度朗之万动力学（SGLD），使各参与方通过点对点的 gossip 通信协作地从后验分布中进行采样。该研究在连续时间下建立了对 $\epsilon$-一致性、离散 $L^2$-范数一致性以及与目标分布的 Wasserstein 距离的理论收敛速率。

ABSTRACT

Langevin MCMC gradient optimization is a class of increasingly popular methods for estimating a posterior distribution. This paper addresses the algorithm as applied in a decentralized setting, wherein data is distributed across a network of agents which act to cooperatively solve the problem using peer-to-peer gossip communication. We show, theoretically, results in 1) the time-complexity to $\epsilon$-consensus for the continuous time stochastic differential equation, 2) convergence rate in $L^2$ norm to consensus for the discrete implementation as defined by the Euler-Maruyama discretization and 3) convergence rate in the Wasserstein metric to the optimal stationary distribution for the discretized dynamics.

研究动机与目标

• 解决在数据分布在各参与方的去中心化网络中进行贝叶斯推断的挑战。
• 仅通过本地通信实现无中心协调的协作后验采样。
• 在去中心化、点对点的设置下，理论分析 SGLD 的收敛特性。
• 在多种度量下建立收敛速率：达到 $\epsilon$-一致性的用时、$L^2$-范数误差，以及与平稳分布的 Wasserstein 距离。

提出的方法

• 为网络上的去中心化 SGLD 构建一个连续时间的随机微分方程（SDE）。
• 应用 Euler-Maruyama 离散化方法，将算法在离散时间下实现以用于实际应用。
• 使用点对点 gossip 通信在相邻参与方之间交换本地梯度和噪声项。
• 将网络建模为图结构，其中每个参与方使用本地数据维护后验的局部估计。
• 提出一种基于去中心化梯度的更新规则，将本地梯度与随机噪声相结合。
• 利用随机过程和马尔可夫链理论的工具分析动态特性，推导出收敛边界。

实验结果

研究问题

• RQ1 在连续时间 SDE 公式下，达到 $\epsilon$-一致性的复杂度是多少？
• RQ2 在离散的 Euler-Maruyama 实现中，$L^2$-范数到一致性的收敛速率是多少？
• RQ3 离散化的 SGLD 动力学在 Wasserstein 度量下收敛到最优平稳分布的速度如何？
• RQ4 网络拓扑和通信结构如何影响去中心化 SGLD 的收敛速率？
• RQ5 能否在点对点通信下为去中心化 SGLD 建立理论保证？

主要发现

• 连续时间 SDE 的收敛时间与网络规模的对数成正比，且与图的谱间隙成反比。
• 离散的 Euler-Maruyama 实现以 $O(1/t)$ 的速率在 $L^2$-范数下收敛到一致性，其中 $t$ 为迭代次数。
• 离散化动态在 Wasserstein 度量下以 $O(1/t^{1/2})$ 的速率收敛到目标后验分布。
• 收敛速率对网络结构具有鲁棒性，显式依赖于通信图的代数连通度。
• 理论分析证实，在温和的正则性条件下，去中心化 SGLD 能够保持与真实后验的渐近一致性。
• 结果表明，去中心化 SGLD 可在可证明的收敛保证下，同时实现一致性与后验采样。