[论文解读] PMGT-VR: A decentralized proximal-gradient algorithmic framework with variance reduction

Haishan Ye, Wei Xiong+1 more|arXiv (Cornell University)|Dec 30, 2020

Distributed Control Multi-Agent Systems参考文献 40被引用 5

一句话总结

该论文提出PMGT-VR，一种新颖的去中心化近端梯度框架，整合了多一致性、梯度追踪与方差缩减技术，用于求解复合优化问题。其达到与集中式方法相当的线性收敛速率，是首个在复合问题上实现此类性能的去中心化随机近端算法。

ABSTRACT

This paper considers the decentralized composite optimization problem. We propose a novel decentralized variance-reduction proximal-gradient algorithmic framework, called PMGT-VR, which is based on a combination of several techniques including multi-consensus, gradient tracking, and variance reduction. The proposed framework relies on an imitation of centralized algorithms and we demonstrate that algorithms under this framework achieve convergence rates similar to that of their centralized counterparts. We also describe and analyze two representative algorithms, PMGT-SAGA and PMGT-LSVRG, and compare them to existing state-of-the-art proximal algorithms. To the best of our knowledge, PMGT-VR is the first linearly convergent decentralized stochastic algorithm that can solve decentralized composite optimization problems. Numerical experiments are provided to demonstrate the effectiveness of the proposed algorithms.

研究动机与目标

• 解决去中心化随机近端算法在复合优化问题中缺乏线性收敛性能的问题。
• 开发一种框架，模仿集中式算法的性能，同时保持去中心化通信约束。
• 在更弱的假设条件下实现收敛，包括局部函数为非凸但整体和为强凸的情况。
• 通过减少分量梯度评估次数并平衡通信成本，提升计算效率。

提出的方法

• 该框架结合多一致性以在各代理间同步估计，利用梯度追踪保持精确的梯度近似，并通过方差缩减加速收敛。
• 采用近端梯度更新，并引入本地梯度追踪机制，利用邻居信息追踪全局梯度。
• 通过SAGA和LSVRG风格的更新实现方差缩减，保留过去梯度的历史记录以降低随机更新中的噪声。
• 算法在连通的无向网络上运行，每个代理仅与邻居通信，确保去中心化特性。
• 该框架支持完整梯度与随机梯度两种变体，收敛性分析基于整体目标函数的强凸性。
• 多一致性机制使代理能够追踪其本地估计的平均值，从而在连接性较差的网络中提升稳定性和收敛性。

实验结果

研究问题

• RQ1 去中心化随机近端算法能否在复合优化问题上实现线性收敛？
• RQ2 方差缩减能否在不牺牲收敛速度的前提下有效集成到去中心化近端方法中？
• RQ3 所提出的框架在梯度评估与通信效率方面是否优于现有去中心化算法？
• RQ4 只要整体目标函数为强凸，框架是否能处理非凸的局部函数？
• RQ5 每次迭代中的去中心化通信次数如何影响收敛速度与通信成本？

主要发现

• PMGT-SAGA与PMGT-LSVRG在强凸复合问题上实现了与集中式对应算法SAGA和SVRG相当的线性收敛速率。
• 与PG-EXTRA和NIDS相比，这些算法在病态条件设置下显著减少了分量梯度评估次数。
• PMGT-VR方法对网络连接性差的情况具有鲁棒性，在$1 - \lambda_2(W)$较小（例如0.05）时仍能保持快速收敛。
• 当$\tau = 250$时，PMGT-VR在所有设置下均实现了低于PG-EXTRA和NIDS的总成本，表明其在计算-通信权衡上表现更优。
• 增加每次迭代的去中心化通信次数（$K$）可提升收敛速度，直至达到某个阈值；超过该阈值后，通信成本上升但无进一步收益。
• 在病态条件情形（$\sigma_i = n \times 10^{-7}$）下，条件数主导性能表现，但PMGT-VR在梯度评估次数与总成本方面仍优于PG-EXTRA和NIDS。