[论文解读] Optimal and Practical Algorithms for Smooth and Strongly Convex Decentralized Optimization

Dmitry Kovalev, Adil Salim+1 more|arXiv (Cornell University)|Jun 21, 2020

Sparse and Compressive Sensing Techniques被引用 14

一句话总结

本论文提出了两种针对网络中平滑且强凸函数的新型去中心化优化算法，通过加速的前向-后向算法变体求解单调包含问题。第一种算法在无需双梯度计算的前提下，实现了梯度计算与通信轮次的最优复杂度；第二种算法在通信复杂度方面达到最优，且不包含条件数的对数因子，理论分析与数值实验均验证了其有效性。

ABSTRACT

We consider the task of decentralized minimization of the sum of smooth strongly convex functions stored across the nodes of a network. For this problem, lower bounds on the number of gradient computations and the number of communication rounds required to achieve $\\varepsilon$ accuracy have recently been proven. We propose two new algorithms for this decentralized optimization problem and equip them with complexity guarantees. We show that our first method is optimal both in terms of the number of communication rounds and in terms of the number of gradient computations. Unlike existing optimal algorithms, our algorithm does not rely on the expensive evaluation of dual gradients. Our second algorithm is optimal in terms of the number of communication rounds, without a logarithmic factor. Our approach relies on viewing the two proposed algorithms as accelerated variants of the Forward Backward algorithm to solve monotone inclusions associated with the decentralized optimization problem. We also verify the efficacy of our methods against state-of-the-art algorithms through numerical experiments.

研究动机与目标

• 设计高效的去中心化优化算法，以最小化存储在网络各节点上的平滑强凸函数之和。
• 在去中心化优化中，实现梯度计算与通信轮次的最优收敛速率。
• 消除最优算法中对昂贵双梯度计算的依赖，提升实用性。
• 开发一种通信复杂度最优且避免条件数对数因子依赖的方法。
• 通过数值实验，将所提算法与当前最先进方法进行对比验证。

提出的方法

• 算法基于前向-后向方法的加速变体，用于求解去中心化优化问题中产生的单调包含问题。
• 通过引入包含原变量、对偶变量与一致性变量的矩阵型势函数，构建李雅普诺夫函数以分析收敛性。
• 分析中采用矩阵 P、W† 与 M 的加权范数，以捕捉迭代点与其最优解之间距离的动力学特性。
• 通过引入切比雪夫加速与算子分裂技术，提升收敛速率。
• 通过引入原-对偶与一致性变量重新表述问题，避免了对偶梯度计算。
• 通过递推不等式证明收敛性，表明李雅普诺夫函数线性递减，从而得出最优复杂度界。

实验结果

研究问题

• RQ1 能否设计一种去中心化算法，在无需双梯度计算的前提下，同时实现梯度评估与通信轮次的最优复杂度？
• RQ2 是否可能实现通信复杂度最优，且不包含条件数的对数因子？
• RQ3 如何将前向-后向方法的加速变体适配至去中心化设置下的单调包含问题？
• RQ4 矩阵加权范数下的李雅普诺夫函数在建立最优收敛速率方面发挥何种作用？
• RQ5 所提算法在实际性能上与现有最先进去中心化优化方法相比如何？

主要发现

• 第一种所提算法在梯度计算与通信轮次上均达到最优复杂度，与 Scaman 等人（2017）建立的理论下界一致。
• 与以往最优算法不同，该方法无需计算对偶梯度，显著提升了实际效率。
• 第二种算法在通信复杂度方面达到最优，且不包含条件数的对数因子，优于现有加速方法。
• 理论分析表明，收敛速率与条件数 κ 与 χ 的平方根相关，证实了其最优性。
• 数值实验表明，所提算法在收敛速度与鲁棒性方面均优于当前最先进方法。
• 李雅普诺夫函数分析确定了收缩因子，导致线性收敛速率，且显式依赖于 μ、L 以及图的谱特性。