[论文解读] Stochastic Proximal Gradient Consensus Over Random Networks

Mingyi Hong, Tsung‐Hui Chang|arXiv (Cornell University)|Nov 28, 2015

Distributed Control Multi-Agent Systems参考文献 50被引用 14

一句话总结

本文提出了一种用于在时变随机网络上进行分布式凸优化的动态随机近端梯度一致性算法（DySPGC），其中各 agent 使用精确梯度或随机梯度。当使用精确梯度时，该算法实现 $Ó(1/r)$ 的收敛速率；当使用随机梯度时，实现 $Ó(1/\sqrt{r})$ 的收敛速率，且与现有主流分布式算法（如 EXTRA 和 ADMM）建立了联系。

ABSTRACT

We consider solving a convex, possibly stochastic optimization problem over a randomly time-varying multi-agent network. Each agent has access to some local objective function, and it only has unbiased estimates of the gradients of the smooth component. We develop a dynamic stochastic proximal-gradient consensus (DySPGC) algorithm, with the following key features: i) it works for both the static and certain randomly time-varying networks, ii) it allows the agents to utilize either the exact or stochastic gradient information, iii) it is convergent with provable rate. In particular, we show that the proposed algorithm converges to a global optimal solution, with a rate of $\mathcal{O}(1/r)$ [resp. $\mathcal{O}(1/\sqrt{r})$] when the exact (resp. stochastic) gradient is available, where r is the iteration counter. Interestingly, the developed algorithm bridges a number of (seemingly unrelated) distributed optimization algorithms, such as the EXTRA (Shi et al. 2014), the PG-EXTRA (Shi et al. 2015), the IC/IDC-ADMM (Chang et al. 2014), and the DLM (Ling et al. 2015) and the classical distributed subgradient method. Identifying such relationship allows for significant generalization of these methods. We also discuss one such generalization which accelerates the DySPGC (hence accelerating EXTRA, PG-EXTRA, IC-ADMM).

研究动机与目标

• 解决具有时变随机通信拓扑的多 agent 系统中的分布式凸优化问题。
• 仅依赖本地梯度估计（可能为随机梯度）实现收敛，无需全局网络知识。
• 在对网络动态和梯度可用性假设最少的条件下，实现可证明的快速收敛速率。
• 在统一框架下统一并推广现有分布式算法，如 EXTRA、PG-EXTRA 和 ADMM 变体。
• 为静态网络以及某些时变网络（包括 B-连通图）提供收敛保证。

提出的方法

• 设计一种基于动态一致性的算法，结合近端梯度步长与误差校正项，以处理时变网络。
• 在随机通信图上采用加权平均方案，其中权重根据网络拓扑和 agent 状态自适应调整。
• 提出一种动态步长规则，确保在精确梯度和随机梯度条件下均能收敛。
• 利用李雅普诺夫分析和一种新颖的势函数证明收敛性，同时考虑随机次梯度噪声和网络随机性。
• 通过近端算子的性质和梯度方差的界，推导收敛速率，以界定期望的次优性差距。
• 通过展示 DySPGC 在特定参数选择下可推广为已知算法（如 EXTRA 和 ADMM），建立与这些算法的联系。

实验结果

研究问题

• RQ1 能否在仅依赖本地随机梯度访问的随机时变网络上，实现具有可证明收敛速率的分布式优化算法？
• RQ2 在类似设置下，所提算法的收敛速率与 DSG、EXTRA 和 ADMM 等现有方法相比如何？
• RQ3 网络拓扑的随机性及 agent 通信模式对分布式算法收敛行为有何影响？
• RQ4 能否通过单一框架统一看似不同的分布式算法（如 EXTRA、PG-EXTRA 和 ADMM 变体）？
• RQ5 在何种步长、网络连通性和梯度估计条件下，可确保全局收敛并获得非渐近收敛速率？

主要发现

• 当使用精确梯度时，DySPGC 算法以 $Ó(1/r)$ 的速率收敛至全局最优解。
• 在使用随机梯度时，算法实现 $Ó(1/\sqrt{r})$ 的收敛速率，与随机次梯度方法的已知下界一致。
• 该算法在静态网络以及某些时变网络（包括 B-连通图）上均具备可证明的收敛性。
• 收敛性分析建立了 DySPGC 与若干知名分布式算法（如 EXTRA、PG-EXTRA 和不精确 ADMM 变体）之间的理论联系。
• 在随机梯度条件下，期望的次优性差距以 $\mathcal{O}(1/\sqrt{r})$ 的速率衰减，且显式依赖于梯度噪声方差。
• 即使 agent 仅能访问梯度的无偏随机估计，该算法仍能保持收敛，因此适用于大规模机器学习和信号处理应用。