[论文解读] Optimal Distributed Stochastic Mirror Descent for Strongly Convex Optimization

Deming Yuan, Yiguang Hong+2 more|arXiv (Cornell University)|Oct 15, 2016

Distributed Control Multi-Agent Systems参考文献 26被引用 5

一句话总结

本文提出两种非欧几里得分布式随机镜像下降算法，用于在时变多智能体网络上进行强凸优化，使用Bregman散度代替欧几里得投影。第一种算法实现了目前已知的最佳收敛速率 $O(\frac{\text{ln}(T)}{T})$，而第二种基于轮次的变体达到了最优的 $O(\frac{1}{T})$ 收敛速率，与集中式随机次梯度方法相当。

ABSTRACT

In this paper we consider convergence rate problems for stochastic strongly-convex optimization in the non-Euclidean sense with a constraint set over a time-varying multi-agent network. We propose two efficient non-Euclidean stochastic subgradient descent algorithms based on the Bregman divergence as distance-measuring function rather than the Euclidean distances that were employed by the standard distributed stochastic projected subgradient algorithms. For distributed optimization of nonsmooth and strongly convex functions whose only stochastic subgradients are available, the first algorithm recovers the best previous known rate of O(ln(T)/T) (where T is the total number of iterations). The second algorithm is an epoch variant of the first algorithm that attains the optimal convergence rate of O(1/T), matching that of the best previously known centralized stochastic subgradient algorithm. Finally, we report some simulation results to illustrate the proposed algorithms.

研究动机与目标

• 解决基于欧几里得的分布式随机次梯度方法在处理具有复杂约束集的非光滑强凸函数时的局限性。
• 开发利用Bregman散度实现非欧几里得几何的分布式优化算法，以提升收敛性和投影效率。
• 在分布式随机设置下实现最优收敛速率，特别是针对非光滑和强凸目标函数。
• 消除对欧几里得投影的依赖，因为后者在某些约束（如单位单纯形）下可能计算不可行或效率低下。
• 在分布式多智能体设置下，使收敛性能与集中式随机次梯度方法相当或更优。

提出的方法

• 设计一种基于Bregman散度作为距离度量函数的分布式随机镜像下降算法，替代标准的欧几里得投影。
• 采用基于强凸势函数 $\Phi$ 的共轭的镜像下降更新规则，确保更新的高效性和可行性。
• 提出该算法的基于轮次的变体，通过在每个轮次重新初始化步长以实现更快的收敛速率。
• 使用双重随机权重矩阵，确保在时变网络中各智能体之间达成一致，收敛性质通过矩阵范数衰减进行界定。
• 应用一阶最优性条件和 $\Phi$ 的强凸性，推导出迭代点与平均决策向量之间期望距离的上界。
• 利用对有界随机次梯度（$\mathbb{E}[\nabla g_{i,t}] \leq G$）和 $\sigma_\Phi$-强凸性 $\Phi$ 的假设，推导出收敛性保证。

实验结果

研究问题

• RQ1 使用Bregman散度的镜像下降能否在非光滑、强凸函数的分布式随机优化中实现最优收敛速率？
• RQ2 用基于Bregman散度的更新替代欧几里得投影，是否能提升在复杂约束集（如单位单纯形）上的收敛性能和可行性？
• RQ3 基于轮次的镜像下降算法能否在分布式设置中实现 $O(1/T)$ 的收敛速率，与集中式最优随机次梯度方法相当？
• RQ4 在相同假设下，所提算法的收敛速率与现有分布式随机投影次梯度方法相比如何？
• RQ5 网络动态性（时变拓扑）对基于镜像下降的分布式算法收敛行为有何影响？

主要发现

• 所提出的第一个算法恢复了非光滑、强凸函数分布式随机优化的目前已知最佳收敛速率 $O(\left(\frac{\text{ln}(T)}{T}\right)$。
• 该算法的基于轮次的变体实现了最优的 $O(\left(\frac{1}{T}\right)$ 收敛速率，与集中式随机次梯度方法的最佳已知速率相当。
• 使用Bregman散度使得在欧几里得投影困难或不可行的约束集（如单位单纯形）上实现高效且可行的更新成为可能。
• 理论分析证实，各智能体之间期望一致误差随时间呈指数衰减，其行为受权重矩阵谱性质的控制。
• 仿真结果表明，所提算法在收敛速度上优于标准的分布式随机投影次梯度算法，尤其在非欧几里得约束下表现更优。
• 收敛速率的提升归因于镜像下降几何与基于轮次的步长调度的结合，从而增强了收敛的稳定性和速度。