[论文解读] Projected Gradient Method for Decentralized Optimization over Time-Varying Networks

Alexander Rogozin, Alexander Gasnikov|arXiv (Cornell University)|Nov 19, 2019

Distributed Control Multi-Agent Systems参考文献 21被引用 16

一句话总结

该论文提出了一种用于时变网络的去中心化投影梯度方法，通过利用对网络拓扑变化具有鲁棒性的非加速方案，实现了改进的收敛速率。该方法使用通过一致性算法计算的近似投影，理论分析表明其依赖于全局条件数 $L_f / \mu_f$，从而在性能上优于基于局部条件数的方法。

ABSTRACT

Decentralized distributed optimization over time-varying graphs (networks) is nowadays a very popular branch of research in optimization theory and consensus theory. One of the motivations to consider such networks is an application to drone networks. However, the first theoretical results in this branch appeared only five years ago (Nedic, 2014). The first results about the possibility of geometric rates of convergence for strongly convex smooth optimization problems on such networks were obtained only two years ago (Nedic, 2017). In this paper, we improve the rate of geometric convergence in the latter paper for the considered class of problems, using an original penalty method trick and robustness of projected gradient descent.

研究动机与目标

• 开发一种对时变网络拓扑具有鲁棒性的去中心化优化算法。
• 通过减少对局部条件数的依赖，改进去中心化优化中的收敛速率。
• 分析非加速梯度方法在时变环境下的性能。
• 探索将该方法扩展至加速方法的可行性。
• 基于全局条件数 $L_f / \mu_f$ 而非局部和 $L_{\text{sum}} / \mu_{\text{sum}}$ 提供理论保证。

提出的方法

• 该算法通过将求和型凸优化问题重新表述为分布式代理之间的共识问题来求解。
• 它在共识流形 $K = \{x_1 = \cdots = x_n\}$ 上应用投影梯度下降，使用精确的梯度步长但采用近似投影。
• 近似投影通过预设精度 $\varepsilon_1$ 的一致性算法计算，确保该方法近似于真实的投影梯度下降。
• 外层循环使用标准的投影梯度下降，步长为 $\gamma$，而内层循环则计算到共识子空间的投影。
• 由于在外层和内层循环中均使用非加速方案，该方法对网络变化具有鲁棒性。
• 提出了一个加速变体（算法3），用Nesterov风格的动量替代外层循环，但完整的理论分析留待未来工作。

实验结果

研究问题

• RQ1 非加速投影梯度方法在时变去中心化网络中是否能比基于局部条件数的现有方法实现更好的收敛速率？
• RQ2 收敛速率如何依赖于全局条件数 $L_f / \mu_f$ 而非基于和的条件数 $L_{\text{sum}} / \mu_{\text{sum}}$？
• RQ3 在使用非加速方案时，去中心化优化的性能在多大程度上对网络拓扑变化具有鲁棒性？
• RQ4 加速方法能否在具有近似投影的时变去中心化环境中被有效适配？
• RQ5 在去中心化投影梯度方法中，投影精度与通信成本之间的最优权衡是什么？

主要发现

• 所提出的方法的收敛速率依赖于全局条件数 $L_f / \mu_f$，其性能可显著优于基于 $L_{\text{sum}} / \mu_{\text{sum}}$ 的方法。
• 数值实验表明，非加速投影梯度方法（Proj-GD-k）在时变网络中优于DIGing，且与EXTRA和Acc-DNGD-SC性能相当。
• 加速变体（算法3）在数值测试中显著优于非加速版本和DIGing。
• 存在内层迭代次数（投影精度）与通信成本之间的权衡，可通过调节实现最优性能。
• 理论分析表明，该方法对网络变化的鲁棒性源于在外层和内层循环中均使用非加速方案。
• 通过 $f(x) = \frac{1}{2}(1+\alpha)\|x\|^2$ 的例子表明，$L_f / \mu_f$ 可远小于 $L_{\text{sum}} / \mu_{\text{sum}}$，验证了全局条件数在界中的优势。