[论文解读] Walkman: A Communication-Efficient Random-Walk Algorithm for Decentralized Optimization

Xianghui Mao, Kun Yuan+4 more|arXiv (Cornell University)|Apr 18, 2018

Distributed Control Multi-Agent Systems参考文献 43被引用 11

一句话总结

Walkman 提出了一种通信效率高、去中心化的优化算法，采用固定步长的随机游走策略，每轮仅使用一条链路传播更新。该算法在去中心化最小二乘问题上实现线性收敛，且通信复杂度优于以往方法，可在不减小步长的情况下实现更快收敛。

ABSTRACT

This paper addresses consensus optimization problems in a multi-agent network, where all agents collaboratively find a minimizer for the sum of their private functions. We develop a new decentralized algorithm in which each agent communicates only with its neighbors. State-of-the-art decentralized algorithms use communications between either all pairs of adjacent agents or a random subset of them at each iteration. Another class of algorithms uses a random walk incremental strategy, which sequentially activates a succession of nodes; these incremental algorithms require diminishing step sizes to converge to the solution, so their convergence is relatively slow. In this work, we propose a random walk algorithm that uses a fixed step size and converges faster than the existing random walk incremental algorithms. Our algorithm is also communication efficient. Each iteration uses only one link to communicate the latest information for an agent to another. Since this communication rule mimics a man walking around the network, we call our new algorithm Walkman. We establish convergence for convex and nonconvex objectives. For decentralized least squares, we derive a linear rate of convergence and obtain a better communication complexity than those of other decentralized algorithms. Numerical experiments verify our analysis results.

研究动机与目标

• 为解决现有随机游走增量算法因需减小步长而导致收敛缓慢的问题。
• 通过每轮仅使用一条链路，模拟随机游走过程，降低去中心化优化中的通信开销。
• 在固定步长下实现更快收敛，同时确保凸与非凸目标函数的全局收敛性。
• 为去中心化最小二乘问题建立线性收敛速率，并优于现有去中心化算法的通信复杂度。

提出的方法

• 该算法采用随机游走过程，每轮选择一个代理更新其变量，并将其转发给一个随机邻居，确保每轮仅激活一条通信链路。
• 采用固定步长，相较于需减小步长才能实现精确解收敛的算法，可实现更快收敛。
• 该方法基于一致性优化框架，各代理协作最小化局部函数之和，并引入全局正则化项。
• 通过李雅普诺夫分析及无向图上可逆马尔可夫链的性质，建立收敛性。
• 该算法利用一个势函数 $ L_{eta}^k $ 来有界子梯度范数，并推导收敛速率。
• 通信模式确保无需全局同步，仅依赖于本地邻居交互实现协调。

实验结果

研究问题

• RQ1 去中心化优化算法能否在固定步长下实现线性收敛，同时保持低通信成本？
• RQ2 与泛洪通信或全连接邻居通信相比，随机游走通信模式在收敛速度与通信复杂度方面表现如何？
• RQ3 Walkman 在去中心化最小二乘问题中的通信复杂度是多少？与最先进方法相比如何？
• RQ4 在非凸目标函数下，该算法能否在固定步长下收敛至精确解？
• RQ5 底层马尔可夫链的混合时间如何影响算法的收敛速率？

主要发现

• Walkman 在固定步长下实现了去中心化最小二乘问题的线性收敛，而以往随机游走方法需依赖减小步长。
• Walkman 的通信复杂度为 $ Oig(rac{ au( heta)^2 + 1}{(1 - heta)nar{ ho}}ig) $，优于现有去中心化算法。
• 对于 $ heta = 1/2 $ 的可逆马尔可夫链，达到 $ ilde{O}(1/ε) $ 精度的迭代复杂度为 $ Oig(τ(δ)^2 ∕ (1 - λ_2(Θ))^2ig) $，其中 $ τ(δ) $ 为混合时间。
• 该算法确保 $ ℓ \to \infty \ \|g^k\| \to 0 $ 几乎必然成立，证明其收敛至驻点。
• 通过李雅普诺夫函数并结合滑动窗口内迭代的期望子梯度范数有界，推导出收敛速率。
• 数值实验验证了理论分析，表明其收敛速度更快且通信成本低于最先进去中心化方法。