[论文解读] On Nonconvex Decentralized Gradient Descent

Jinshan Zeng, Wotao Yin|arXiv (Cornell University)|Aug 20, 2016

Distributed Control Multi-Agent Systems参考文献 54被引用 11

一句话总结

本文在非凸一致性优化设置下，为去中心化梯度下降（DGD）和近端DGD（Prox-DGD）建立了收敛性保证。证明表明，在递减步长下，DGD以次线性速率收敛至原始问题的驻点；而Prox-DGD通过近端算子将该结果扩展至非凸、非光滑函数，在较宽松的假设下保持收敛性，采用新颖的非凸分析技术。

ABSTRACT

Consensus optimization has received considerable attention in recent years. A number of decentralized algorithms have been proposed for {convex} consensus optimization. However, to the behaviors or consensus \emph{nonconvex} optimization, our understanding is more limited. When we lose convexity, we cannot hope our algorithms always return global solutions though they sometimes still do sometimes. Somewhat surprisingly, the decentralized consensus algorithms, DGD and Prox-DGD, retain most other properties that are known in the convex setting. In particular, when diminishing (or constant) step sizes are used, we can prove convergence to a (or a neighborhood of) consensus stationary solution under some regular assumptions. It is worth noting that Prox-DGD can handle nonconvex nonsmooth functions if their proximal operators can be computed. Such functions include SCAD and $\ell_q$ quasi-norms, $q\in[0,1)$. Similarly, Prox-DGD can take the constraint to a nonconvex set with an easy projection. To establish these properties, we have to introduce a completely different line of analysis, as well as modify existing proofs that were used the convex setting.

研究动机与目标

• 将去中心化梯度下降（DGD）的收敛性理论从凸问题扩展至非凸一致性优化问题。
• 分析在非凸设置下，DGD与Prox-DGD在固定步长与递减步长下的行为。
• 在非凸场景下尽管全局最优性丧失，仍建立对原始问题驻点的收敛性。
• 通过近端算子将框架扩展至处理非凸、非光滑函数，包括SCAD、MCP及ℓq准范数。
• 开发适用于非凸去中心化优化的新型分析工具，其方法与凸情况下的证明有本质区别。

提出的方法

• 提出基于李雅普诺夫函数的分析方法，研究固定步长下DGD的收敛性，证明其收敛至李雅普诺夫函数的驻点。
• 采用递减步长 αk = O(1/(k+1)^ε)，其中 ε ∈ (0,1]，以确保渐近一致性并实现对原始问题驻点的收敛。
• 提出Prox-DGD以处理可微函数加一个可近端化（可能非凸）函数的问题，利用近端算子处理非光滑或非凸正则化项。
• 应用改进的下降引理，并通过梯度的Lipschitz连续性与近端映射的性质，估计连续迭代之间的差异。
• 推导出本地估计与全局平均之间的一致性误差的上界，表明其与步长成正比，与混合矩阵的谱隙成反比。
• 采用一种新颖的分析框架，与凸分析方法相分离，将下降引理与近端算子性质等工具适配至非凸设置。

实验结果

研究问题

• RQ1 在递减步长下，DGD能否收敛至原始非凸问题的驻点？
• RQ2 在非凸DGD中，本地代理间的一致性误差如何随步长与网络拓扑变化？
• RQ3 Prox-DGD能否处理非凸、非光滑函数，如ℓq准范数（q ∈ [0,1)）及SCAD/MCP惩罚？
• RQ4 在递减步长的非凸去中心化设置下，DGD与Prox-DGD的收敛速率如何？
• RQ5 现有凸收敛证明如何被调整或重构以适用于非凸去中心化算法？

主要发现

• 在适当有界的固定步长 α 下，DGD迭代收敛至李雅普诺夫函数的驻点，且本地估计与全局平均之间的一致性误差被限制在 O(α) 内。
• 在递减步长 αk = O(1/(k+1)^ε)，其中 ε ∈ (0,1] 的条件下，DGD实现渐近一致性，并以次线性速率收敛至原始非凸问题的驻点。
• 对于Prox-DGD，当可微部分 f_i 与可近端化部分 r_i 均为非凸时，只要 r_i 的近端算子可计算，即可建立收敛至驻点的结论。
• 在凸情况下，目标误差的收敛速率为 O(ln k / k)（当 αk = 1/√k 时），而使用嵌套循环的Nesterov加速时可达 O(1/k²)。
• 当 f_i 与 r_i 为凸函数时，Prox-DGD可采用更大的固定步长，且通过引入近端算子的改进下降引理可保证收敛。
• 该分析引入了一条与凸设置截然不同的证明路径，尤其在处理一致性误差与非凸李雅普诺夫函数行为方面具有创新性。