[论文解读] Revisiting EXTRA for Smooth Distributed Optimization

Huan Li, Zhouchen Lin|arXiv (Cornell University)|Feb 24, 2020

Stochastic Gradient Optimization Techniques参考文献 26被引用 9

一句话总结

本文重新审视了用于去中心化光滑分布式优化的EXTRA算法，提供了更精确的复杂度分析，并提出了一种基于Catalyst框架的加速变体。加速后的EXTRA在通信和计算复杂度上接近最优，与理论下限仅相差对数因子，因此在连接良好的网络和高精度应用场景中表现出极高效率。

ABSTRACT

EXTRA is a popular method for dencentralized distributed optimization and has broad applications. This paper revisits EXTRA. First, we give a sharp complexity analysis for EXTRA with the improved $O\left(\left(\frac{L}μ+\frac{1}{1-σ_2(W)} ight)\log\frac{1}{ε(1-σ_2(W))} ight)$ communication and computation complexities for $μ$-strongly convex and $L$-smooth problems, where $σ_2(W)$ is the second largest singular value of the weight matrix $W$. When the strong convexity is absent, we prove the $O\left(\left(\frac{L}ε+\frac{1}{1-σ_2(W)} ight)\log\frac{1}{1-σ_2(W)} ight)$ complexities. Then, we use the Catalyst framework to accelerate EXTRA and obtain the $O\left(\sqrt{\frac{L}{μ(1-σ_2(W))}}\log\frac{ L}{μ(1-σ_2(W))}\log\frac{1}ε ight)$ communication and computation complexities for strongly convex and smooth problems and the $O\left(\sqrt{\frac{L}{ε(1-σ_2(W))}}\log\frac{1}{ε(1-σ_2(W))} ight)$ complexities for non-strongly convex ones. Our communication complexities of the accelerated EXTRA are only worse by the factors of $\left(\log\frac{L}{μ(1-σ_2(W))} ight)$ and $\left(\log\frac{1}{ε(1-σ_2(W))} ight)$ from the lower complexity bounds for strongly convex and non-strongly convex problems, respectively.

研究动机与目标

• 为原始EXTRA算法在光滑、强凸及非强凸问题上的复杂度分析提供更精细的界定。
• 解决利用现有加速框架加速EXTRA的开放性问题。
• 实现通信与计算复杂度近乎最优，与理论下限仅相差对数因子。
• 在不同网络拓扑和问题条件下，评估加速EXTRA与当前最先进方法的性能表现。

提出的方法

• 通过分析条件数 $ \frac{L}{\mu} $ 与网络连通性参数 $ \frac{1}{1 - \sigma_2(W)} $ 之间的相互作用，推导出原始EXTRA的精确收敛速率。
• 将Catalyst框架应用于EXTRA的加速，通过嵌入类似邻近的外层循环以提升收敛速度。
• 引入两级迭代结构：内层迭代用于梯度追踪，外层迭代用于加速，采用自适应步长与动量参数。
• 采用基于对偶的加速机制，在保持恒定步长的同时提升收敛速率，且不增加每轮迭代的通信开销。
• 在强凸与非强凸设定下分析收敛行为，推导出以 $ L, \mu, \epsilon, \sigma_2(W) $ 表示的显式复杂度边界。
• 采用一种新颖的李雅普诺夫函数分析方法，为原始EXTRA与加速EXTRA均建立了紧密的收敛保证。

实验结果

研究问题

• RQ1 原始EXTRA算法在光滑去中心化优化中的精确通信与计算复杂度是多少？
• RQ2 是否可以利用已知的加速框架（如Catalyst）来改进EXTRA的收敛速率？
• RQ3 在去中心化设置下，加速EXTRA能多接近通信与计算复杂度的理论下限？
• RQ4 加速EXTRA在不同网络拓扑与问题条件下，与ADA、APM-C等其他最先进方法相比表现如何？
• RQ5 在何种条件下，加速EXTRA相较于基线方法表现更优或更差？

主要发现

• 对于 $ \mu $-强凸且 $ L $-光滑的问题，原始EXTRA的通信与计算复杂度为 $ O\left(\left(\frac{L}{\mu} + \frac{1}{1 - \sigma_2(W)}\right)\log\frac{1}{\epsilon(1 - \sigma_2(W))}\right) $。
• 对于非强凸问题，复杂度为 $ O\left(\left(\frac{L}{\epsilon} + \frac{1}{1 - \sigma_2(W)}\right)\log\frac{1}{1 - \sigma_2(W)}\right) $。
• 通过Catalyst实现的加速EXTRA在强凸问题中达到 $ O\left(\sqrt{\frac{L}{\mu(1 - \sigma_2(W))}}\log\frac{L}{\mu(1 - \sigma_2(W))}\log\frac{1}{\epsilon}\right) $ 的复杂度，与理论下限仅相差对数因子。
• 对于非强凸问题，加速版本的复杂度为 $ O\left(\sqrt{\frac{L}{\epsilon(1 - \sigma_2(W))}}\log\frac{1}{\epsilon(1 - \sigma_2(W))}\right) $，同样仅与理论最小值相差对数因子。
• 数值实验表明，在 $ \frac{1}{1 - \sigma_2(W)} $ 较小的连接良好网络中，加速EXTRA在高精度场景下显著优于原始EXTRA、ADA与APM-C。
• 当 $ \mu $ 或 $ \frac{1}{1 - \sigma_2(W)} $ 较大时性能下降，表明其对病态条件与网络连通性差较为敏感。