[论文解读] On the Complexity Analysis of the Primal Solutions for the Accelerated Randomized Dual Coordinate Ascent

Huan Li, Zhouchen Lin|arXiv (Cornell University)|Jul 1, 2018

Stochastic Gradient Optimization Techniques参考文献 41被引用 6

一句话总结

本文建立了加速随机对偶坐标算法（ARDCA）在原始解上的最优 $ O\left(\sqrt{\frac{n}{\epsilon}}\right) $ 迭代复杂度，与对偶收敛速率相匹配。在二次泛函增长条件下证明了线性收敛，并消除了先前平滑化或Catalyst方法中常见的 $ \log(1/\epsilon) $ 因子，首次实现了正则化经验风险最小化中对偶坐标算法的最优原始复杂度。

ABSTRACT

Dual first-order methods are essential techniques for large-scale constrained convex optimization. However, when recovering the primal solutions, we need $T(ε^{-2})$ iterations to achieve an $ε$-optimal primal solution when we apply an algorithm to the non-strongly convex dual problem with $T(ε^{-1})$ iterations to achieve an $ε$-optimal dual solution, where $T(x)$ can be $x$ or $\sqrt{x}$. In this paper, we prove that the iteration complexity of the primal solutions and dual solutions have the same $O\left(\frac{1}{\sqrtε} ight)$ order of magnitude for the accelerated randomized dual coordinate ascent. When the dual function further satisfies the quadratic functional growth condition, by restarting the algorithm at any period, we establish the linear iteration complexity for both the primal solutions and dual solutions even if the condition number is unknown. When applied to the regularized empirical risk minimization problem, we prove the iteration complexity of $O\left(n\log n+\sqrt{\frac{n}ε} ight)$ in both primal space and dual space, where $n$ is the number of samples. Our result takes out the $\left(\log \frac{1}ε ight)$ factor compared with the methods based on smoothing/regularization or Catalyst reduction. As far as we know, this is the first time that the optimal $O\left(\sqrt{\frac{n}ε} ight)$ iteration complexity in the primal space is established for the dual coordinate ascent based stochastic algorithms. We also establish the accelerated linear complexity for some problems with nonsmooth loss, i.e., the least absolute deviation and SVM.

研究动机与目标

• 为加速随机对偶坐标算法（ARDCA）中对偶与原始收敛复杂度之间的差距提供填补。
• 分析在非强凸问题中，从对偶迭代得到的原始解的迭代复杂度。
• 在正则化经验风险最小化（ERM）中，为原始解建立最优 $ O\left(\sqrt{\frac{n}{\epsilon}}\right) $ 迭代复杂度。
• 在二次泛函增长条件下，证明原始与对偶解均可实现线性收敛，即使不知道条件数。
• 消除复杂度界中常见的 $ \log(1/\epsilon) $ 因子，该因子在平滑化或Catalyst方法中普遍存在。

提出的方法

• 通过拉格朗日对偶框架和对偶间隙，分析从对偶迭代恢复原始解的方法。
• 证明原始误差受 $ O\left(\sqrt{D(\mathbf{u}^K) - D(\mathbf{u}^*)} + D(\mathbf{u}^K) - D(\mathbf{u}^*)\right) $ 限制，建立原始与对偶收敛之间的联系。
• 在固定时间间隔实施重启策略，当对偶函数满足二次泛函增长条件时，实现线性收敛。
• 使用李雅普诺夫函数和递归分析，对期望对偶间隙和原始次优性进行有界控制。
• 将该方法应用于包含 $ n $ 个样本的ERM问题，推导出在原始与对偶空间中均为 $ O\left(n\log n + \sqrt{\frac{n}{\epsilon}}\right) $ 的复杂度。
• 为非光滑损失（如最小绝对偏差和SVM）建立加速线性收敛。

实验结果

研究问题

• RQ1 ARDCA的原始解收敛复杂度能否与其中对偶收敛复杂度相匹配？
• RQ2 在二次泛函增长条件下，是否能实现ARDCA中原始与对偶解的线性收敛？
• RQ3 在对偶坐标算法中，能否消除先前方法中原始复杂度的 $ \log(1/\epsilon) $ 因子？
• RQ4 在使用对偶坐标算法的ERM问题中，$ O\left(\sqrt{\frac{n}{\epsilon}}\right) $ 复杂度是否为原始解的最优复杂度？
• RQ5 ARDCA能否在L1和SVM等非光滑损失函数下实现加速线性收敛？

主要发现

• ARDCA的原始解收敛复杂度为 $ O\left(\frac{1}{\sqrt{\epsilon}}\right) $，与对偶复杂度相匹配，解决了长期存在的复杂度差距问题。
• 在二次泛函增长条件下，即使不知道条件数，原始与对偶解均可实现线性收敛。
• 在正则化经验风险最小化中，原始与对偶空间的迭代复杂度均为 $ O\left(n\log n + \sqrt{\frac{n}{\epsilon}}\right) $。
• 与平滑化或Catalyst方法相比，消除了 $ \log(1/\epsilon) $ 因子，首次实现了对偶坐标算法中原始复杂度的最优 $ O\left(\sqrt{\frac{n}{\epsilon}}\right) $。
• 在泛函增长条件下，为具有非光滑损失的问题（包括最小绝对偏差和SVM）建立了线性收敛。
• 分析证明了对偶间隙控制原始次优性，通过递归李雅普诺夫函数技术实现了紧致界。