[论文解读] Optimal Decentralized Distributed Algorithms for Stochastic Convex Optimization

Eduard Gorbunov, Darina Dvinskikh+1 more|arXiv (Cornell University)|Nov 17, 2019

Stochastic Gradient Optimization Techniques参考文献 93被引用 34

一句话总结

该论文提出了一类新颖的去中心化分布式算法，用于具有仿射约束的随机凸优化，结合了原始与对偶方法，采用不精确的近端步骤和梯度滑动技术。该工作在通信轮数和Oracle调用次数方面建立了最优收敛速率，实现了O(√L/μ log(1/ε))轮迭代和eO(max{√L/μ, σ²/ε})次Oracle调用以达到ε-精度，且在有偏和无偏随机Oracle下均获得了紧致的边界。

ABSTRACT

We consider stochastic convex optimization problems with affine constraints and develop several methods using either primal or dual approach to solve it. In the primal case we use special penalization technique to make the initial problem more convenient for using optimization methods. We propose algorithms to solve it based on Similar Triangles Method with Inexact Proximal Step for the convex smooth and strongly convex smooth objective functions and methods based on Gradient Sliding algorithm to solve the same problems in the non-smooth case. We prove the convergence guarantees in smooth convex case with deterministic first-order oracle. We propose and analyze three novel methods to handle stochastic convex optimization problems with affine constraints: SPDSTM, R-RRMA-AC-SA and SSTM_sc. All methods use stochastic dual oracle. SPDSTM is the stochastic primal-dual modification of STM and it is applied for the dual problem when the primal functional is strongly convex and Lipschitz continuous on some ball. R-RRMA-AC-SA is an accelerated stochastic method based on the restarts of RRMA-AC-SA and SSTM_sc is just stochastic STM for strongly convex problems. Both methods are applied to the dual problem when the primal functional is strongly convex, smooth and Lipschitz continuous on some ball and use stochastic dual first-order oracle. We develop convergence analysis for these methods for the unbiased and biased oracles respectively. Finally, we apply all aforementioned results and approaches to solve decentralized distributed optimization problem and discuss optimality of the obtained results in terms of communication rounds and number of oracle calls per node.

研究动机与目标

• 开发具有仿射约束的随机凸优化的最优去中心化分布式算法。
• 弥合去中心化设置下理论收敛速率与实际通信效率之间的差距。
• 分析在有偏和无偏随机Oracle下的收敛性，尤其关注去中心化网络中的情况。
• 为光滑且强凸问题建立通信轮数和Oracle调用次数的紧致边界。
• 将加速方法扩展至具有不精确Oracle和有偏随机梯度的原始-对偶框架。

提出的方法

• 提出一种原始方法，利用惩罚技术重构问题，以实现基于相似三角形法（STM）和不精确近端步骤的高效优化。
• 引入梯度滑动算法以处理非光滑情形，实现对随机次梯度的高效处理。
• 提出三种新方法：SPDSTM、SSTM sc和R-RRMA-AC-SA2，分别适用于有偏和无偏随机Oracle。
• 采用对偶方法，结合强凸对偶函数和重启技术，以加速收敛。
• 对对偶问题采用直接加速，并通过李雅普诺夫函数和随机误差界证明收敛性。
• 采用方差缩减和不精确Oracle分析，推导出迭代次数和Oracle复杂度的紧致边界。

实验结果

研究问题

• RQ1 具有仿射约束的去中心化随机凸优化的最优通信复杂度是什么？
• RQ2 在去中心化网络中，如何为有偏随机Oracle设计加速的原始-对偶方法？
• RQ3 在去中心化随机优化中，Oracle调用次数与通信轮数之间存在何种权衡？
• RQ4 能否将不精确近端步骤与梯度滑动结合，实现在非光滑设置下的最优收敛？
• RQ5 有偏和无偏随机Oracle对去中心化对偶方法的收敛速率有何影响？

主要发现

• 所提出的R-RRMA-AC-SA2在无偏情况下实现了O(√L/μ log(1/ε))轮通信，达到ε-精度，收敛速度最优。
• 对于有偏Oracle（SPDSTM、SSTM sc），该方法实现了O(√L/μ log(1/ε))的收敛速度，Oracle调用次数为eO(max{√L/μ, σ²/ε})。
• 该算法框架确保在高概率下满足f(˜xN) − f(x*) ≤ (2 + √(2C/λmax(A⊤A) + G1))ε/Ry。
• 该方法以至少1 − 4β的概率满足∥A˜xN∥₂ ≤ (1 + √(2C) + G1/√λmax(A⊤A))ε/Ry。
• 分析证明，达到ε-精度的Oracle总调用次数为eO(max{√L/μ, σ²/ε})，与已知下界一致。
• 收敛速率在通信轮数和Oracle复杂度方面均为最优，通过随机李雅普诺夫函数和不精确Oracle分析得出了紧致边界。