[论文解读] NESTT: A Nonconvex Primal-Dual Splitting Method for Distributed and Stochastic Optimization

Davood Hajinezhad, Mingyi Hong+2 more|arXiv (Cornell University)|May 25, 2016

Stochastic Gradient Optimization Techniques参考文献 24被引用 23

一句话总结

NESTT 是一种用于分布式和随机优化的非凸原始-对偶分裂算法，通过 $\epsilon$-平稳解的 $\mathcal{O}((\sum_{i=1}^{N}\sqrt{L_{i}/N})^{2}/\epsilon)$ 次梯度评估实现——相比标准梯度下降最多快 $\mathcal{O}(N)$ 倍。它在非凸 $\ell_{1}$-惩罚二次问题中实现了 Q-线性收敛，并揭示了原始-对偶方法与 SAGA/SAG/IAG 等仅原始方法之间的根本联系。

ABSTRACT

We study a stochastic and distributed algorithm for nonconvex problems whose objective consists of a sum of $N$ nonconvex $L_i/N$-smooth functions, plus a nonsmooth regularizer. The proposed NonconvEx primal-dual SpliTTing (NESTT) algorithm splits the problem into $N$ subproblems, and utilizes an augmented Lagrangian based primal-dual scheme to solve it in a distributed and stochastic manner. With a special non-uniform sampling, a version of NESTT achieves $ε$-stationary solution using $\mathcal{O}((\sum_{i=1}^N\sqrt{L_i/N})^2/ε)$ gradient evaluations, which can be up to $\mathcal{O}(N)$ times better than the (proximal) gradient descent methods. It also achieves Q-linear convergence rate for nonconvex $\ell_1$ penalized quadratic problems with polyhedral constraints. Further, we reveal a fundamental connection between primal-dual based methods and a few primal only methods such as IAG/SAG/SAGA.

研究动机与目标

• 开发一种用于具有有限和结构的非凸、非光滑问题的分布式和随机优化算法。
• 在非凸设置下，特别是当分量函数具有不同平滑性时，实现比经典梯度下降更快的收敛速度。
• 为具有多面体约束的非凸 $\ell_{1}$-惩罚二次问题建立 Q-线性收敛性。
• 揭示原始-对偶方法与 SAGA、SAG 和 IAG 等仅原始方法在凸与非凸情形下的理论联系。

提出的方法

• 该算法将变量 $z$ 拆分为 $N$ 个局部副本 $x_i$，通过增广拉格朗日松弛法施加等式约束 $x_i = z$。
• 采用随机的、非均匀的采样方案，每轮迭代选择一个代理更新其局部变量 $x_i$。
• 每次迭代对选定的 $x_i$ 执行近端更新，随后对拉格朗日乘子 $\lambda_i$ 执行对偶上升步骤。
• 该方法通过对偶变量实现类似记忆的机制，存储历史梯度信息，从而实现收敛加速。
• 采用特殊的非均匀采样策略，以最小化达到 $\epsilon$-平稳性所需的总梯度评估次数。
• 理论分析依赖于对原始-对偶最优性间隙的有界性，以及在适当假设下建立次线性和 Q-线性收敛速率。

实验结果

研究问题

• RQ1 原始-对偶分裂方法是否能在非凸、分布式和随机优化中实现比标准梯度下降更快的收敛？
• RQ2 所提出的 NESTT 算法是否在具有多面体约束的非凸 $\ell_{1}$-惩罚二次问题中实现 Q-线性收敛？
• RQ3 原始-对偶方法中的对偶变量是否可被解释为一种记忆机制，从而将 SAGA/SAG/IAG 等仅原始方法推广到非凸和非光滑情形？
• RQ4 在具有异质平滑性的分布式非凸有限和问题中，达到 $\epsilon$-平稳性的最优梯度复杂度是什么？
• RQ5 非均匀采样如何在分布式非凸优化中改善收敛性？

主要发现

• NESTT 通过 $\mathcal{O}((\sum_{i=1}^{N}\sqrt{L_{i}/N})^{2}/\epsilon)$ 次梯度评估实现 $\epsilon$-平稳解，最坏情况下相比标准梯度下降最多快 $\mathcal{O}(N)$ 倍。
• 对于具有多面体约束的非凸 $\ell_1$-惩罚二次问题，NESTT 展现出 Q-线性收敛，这是在此类设置中首次实现的随机和分布式算法。
• NESTT 中的对偶变量作为过去梯度的记忆，使该算法能够将 SAGA/SAG/IAG 推广到非凸和非光滑情形。
• 该方法在理论上建立了原始-对偶方法与仅原始方法之间的联系，将二者统一于同一框架下。
• 收敛性分析证明了在一般非凸和非光滑条件下，实现次线性收敛至平稳解集。
• 由于采用非均匀采样，该算法即使在分量函数具有非均匀平滑常数 $L_i$ 的情况下，仍能保持收敛保证。