[论文解读] On the Convergence of Decentralized Gradient Descent

Kun Yuan, Qing Ling+1 more|arXiv (Cornell University)|Oct 26, 2013

Distributed Control Multi-Agent Systems参考文献 38被引用 57

一句话总结

本文分析了在多智能体网络中通过去中心化梯度下降求解一致性优化的问题，其中每个智能体持有局部目标函数，并仅与邻居通信。研究建立了凸函数的收敛率为 $ O(1/k) $，强凸函数的线性收敛率，并表明当步长 $ \alpha $ 选择在与梯度最大Lipschitz常数及网络谱特性相关的边界以下时，该方法收敛至最优解的 $ O(\alpha) $ 邻域内。

ABSTRACT

Consider the consensus problem of minimizing $f(x)=\sum_{i=1}^n f_i(x)$ where each $f_i$ is only known to one individual agent $i$ out of a connected network of $n$ agents. All the agents shall collaboratively solve this problem and obtain the solution subject to data exchanges restricted to between neighboring agents. Such algorithms avoid the need of a fusion center, offer better network load balance, and improve data privacy. We study the decentralized gradient descent method in which each agent $i$ updates its variable $x_{(i)}$, which is a local approximate to the unknown variable $x$, by combining the average of its neighbors' with the negative gradient step $-α abla f_i(x_{(i)})$. The iteration is $$x_{(i)}(k+1) \gets \sum_{ ext{neighbor} j ext{of} i} w_{ij} x_{(j)}(k) - α abla f_i(x_{(i)}(k)),\quad ext{for each agent} i,$$ where the averaging coefficients form a symmetric doubly stochastic matrix $W=[w_{ij}] \in \mathbb{R}^{n imes n}$. We analyze the convergence of this iteration and derive its converge rate, assuming that each $f_i$ is proper closed convex and lower bounded, $ abla f_i$ is Lipschitz continuous with constant $L_{f_i}$, and stepsize $α$ is fixed. Provided that $α< O(1/L_h)$ where $L_h=\max_i\{L_{f_i}\}$, the objective error at the averaged solution, $f(\frac{1}{n}\sum_i x_{(i)}(k))-f^*$, reduces at a speed of $O(1/k)$ until it reaches $O(α)$. If $f_i$ are further (restricted) strongly convex, then both $\frac{1}{n}\sum_i x_{(i)}(k)$ and each $x_{(i)}(k)$ converge to the global minimizer $x^*$ at a linear rate until reaching an $O(α)$-neighborhood of $x^*$. We also develop an iteration for decentralized basis pursuit and establish its linear convergence to an $O(α)$-neighborhood of the true unknown sparse signal.

研究动机与目标

• 理解无中心协调器的网络中去中心化梯度下降的收敛行为。
• 识别该方法收敛至最优解邻域的条件。
• 量化步长、函数特性（凸性、Lipschitz连续性）以及网络拓扑对收敛速度的影响。
• 建立保证收敛的步长理论边界。

提出的方法

• 每个智能体维护一个本地变量 $ x_{(i)} $，并通过与邻居的本地梯度下降和一致性平均相结合的方式更新。
• 更新规则为 $ x_{(i)}(k+1) = \sum_{j=1}^n w_{ij}x_{(j)}(k) - \alpha \nabla f_i(x_{(i)}(k)) $，其中 $ W = [w_{ij}] $ 是对称的双随机混合矩阵。
• 该方法完全去中心化运行，仅需邻居之间的本地通信，无需融合中心。
• 在每个 $ f_i $ 为凸、闭、下有界且梯度Lipschitz连续的假设下分析收敛性。
• 分析利用了混合矩阵 $ W $ 的谱特性，特别是 $ \beta = \max\{ |\lambda_2(W)|, |\lambda_n(W)| \} $，以表征收敛速率。
• 该方法进一步扩展至去中心化基追踪问题，通过对偶公式化，证明了对偶变量均值线性收敛至真实稀疏信号的 $ O(\alpha) $ 邻域，同时观察到原始变量的收敛。

实验结果

研究问题

• RQ1 在何种条件下，去中心化梯度下降在多智能体网络中收敛至解？
• RQ2 固定步长 $ \alpha $ 的选择如何影响收敛性？保证收敛的最大允许步长是多少？
• RQ3 当目标函数为凸与强凸时，去中心化梯度下降的收敛速率如何？
• RQ4 网络拓扑（通过混合矩阵 $ W $ 表示）与局部函数平滑性如何共同影响收敛速度？
• RQ5 该方法能否扩展至非光滑问题（如基追踪）？其收敛保证为何？

主要发现

• 对于凸且Lipschitz连续的目标函数，所有本地解的代价误差以及网络全局均值解的代价误差均以 $ O(1/k) $ 的速率收敛，最终达到最优值的 $ O(\alpha) $ 邻域内。
• 当局部函数为（受限）强凸时，所有本地解和均值解均线性收敛至全局最小值 $ x^* $ 的 $ O(\alpha) $ 邻域内。
• 当固定步长 $ \alpha $ 满足 $ \alpha = O(1/L_h) $ 时，方法收敛，其中 $ L_h = \max_i L_{f_i} $，数值结果证实超过此边界将导致发散。
• 定理1中推导出的理论步长边界与实验性能高度吻合，实验显示 $ \alpha = 0.1038 $ 时收敛，而 $ \alpha = 0.12 $ 时发散。
• 对于去中心化基追踪，算法实现了对偶变量均值线性收敛至解集的 $ O(\alpha) $ 邻域，同时观察到原始变量的收敛。
• 数值结果表明，极限误差水平与步长 $ \alpha $ 成正比，更小的步长可获得更精确的解，与理论一致。