[论文解读] RSG: Beating Subgradient Method without Smoothness and Strong Convexity

Tianbao Yang, Qihang Lin|arXiv (Cornell University)|Dec 9, 2015

Advanced Optimization Algorithms Research被引用 10

一句话总结

本文提出了一种重启子梯度（RSG）方法，显著提升了标准子梯度方法在非光滑且非强凸优化问题中的收敛速度。通过周期性地以递减步长重启子梯度下降，并利用局部误差界条件，RSG在不依赖光滑性或强凸性的情况下，实现了更优的迭代复杂度——例如，对于局部二次增长函数，复杂度为 O(1/ε log(1/ε))；对于满足Kurdyka-Łojasiewicz性质的函数，复杂度为 O(1/ε^{2β} log(1/ε))。

ABSTRACT

In this paper, we study the efficiency of a {\bf R}estarted {\bf S}ub{\bf G}radient (RSG) method that periodically restarts the standard subgradient method (SG). We show that, when applied to a broad class of convex optimization problems, RSG method can find an $ε$-optimal solution with a lower complexity than the SG method. In particular, we first show that RSG can reduce the dependence of SG's iteration complexity on the distance between the initial solution and the optimal set to that between the $ε$-level set and the optimal set {multiplied by a logarithmic factor}. Moreover, we show the advantages of RSG over SG in solving three different families of convex optimization problems. (a) For the problems whose epigraph is a polyhedron, RSG is shown to converge linearly. (b) For the problems with local quadratic growth property in the $ε$-sublevel set, RSG has an $O(\frac{1}ε\log(\frac{1}ε))$ iteration complexity. (c) For the problems that admit a local Kurdyka-Łojasiewicz property with a power constant of $β\in[0,1)$, RSG has an $O(\frac{1}{ε^{2β}}\log(\frac{1}ε))$ iteration complexity. The novelty of our analysis lies at exploiting the lower bound of the first-order optimality residual at the $ε$-level set. It is this novelty that allows us to explore the local properties of functions (e.g., local quadratic growth property, local Kurdyka-Łojasiewicz property, more generally local error bound conditions) to develop the improved convergence of RSG. { We also develop a practical variant of RSG enjoying faster convergence than the SG method, which can be run without knowing the involved parameters in the local error bound condition.} We demonstrate the effectiveness of the proposed algorithms on several machine learning tasks including regression, classification and matrix completion.

研究动机与目标

• 解决标准子梯度方法在非光滑且非强凸优化问题中收敛性能差的问题。
• 开发一种子梯度方法的重启变体，实现在不依赖光滑性或强凸性条件下的更快收敛。
• 通过利用局部性质（如局部误差界、二次增长和Kurdyka-Łojasiewicz条件）建立改进的迭代复杂度界。
• 设计一种实用的、无需参数的RSG变体，无需事先知晓局部误差界参数。
• 在回归、分类和矩阵补全等机器学习任务中，通过实验验证RSG的有效性。

提出的方法

• RSG方法在多个阶段中运行，每个阶段执行固定常数步长的投影子梯度下降。
• 各阶段之间的步长呈几何级数递减，且每个阶段均从前一阶段的解处进行热启动。
• 该方法利用在 ε-次水平集上的一阶最优性残差的下界，推导出更优的收敛保证。
• 针对满足局部误差界条件的问题，提出了一种通用的复杂度分析，该分析推广了现有的误差界与增长条件。
• 通过自适应调整重启频率，提出了一种无需知晓局部误差界常数的无参数RSG变体。
• 理论分析基于Kurdyka-Łojasiewicz不等式和次微分的度量次正则性，将局部几何结构与收敛速率相联系。

实验结果

研究问题

• RQ1 在不假设光滑性或强凸性的情况下，能否通过重启子梯度方法改善非光滑且非强凸问题的收敛复杂度？
• RQ2 在局部误差界条件下，RSG方法的迭代复杂度与标准子梯度方法相比如何？
• RQ3 对于具有局部二次增长或Kurdyka-Łojasiewicz性质的问题，RSG的收敛速率是多少？
• RQ4 能否设计一种实用的、无需参数的RSG变体，使其在不预先知晓问题局部结构的情况下仍保持快速收敛？
• RQ5 在回归、分类和矩阵补全等实际机器学习任务中，RSG是否优于现有的子梯度方法？

主要发现

• RSG将初始距离到最优集的迭代复杂度依赖从 O(1/ε²) 降低至 O(1/ε² log(ε₀/ε))，其中 ε₀ 为初始最优性间隙。
• 对于具有局部二次增长的函数，RSG实现了 O(1/ε log(1/ε)) 的迭代复杂度，显著优于标准子梯度方法。
• 对于满足局部Kurdyka-Łojasiewicz性质且幂常数 β ∈ [0,1) 的函数，RSG实现了 O(1/ε^{2β} log(1/ε)) 的迭代复杂度。
• 当函数 f 的上图（epigraph）为多面体时，RSG实现线性收敛，迭代复杂度为 O(log(1/ε))。
• 所提出的无参数RSG变体收敛速度优于标准子梯度方法，在实践中与Freund & Lu的SG算法具有竞争力。
• 在回归、分类和矩阵补全部任务中的实验结果表明，RSG在收敛速度和目标值下降方面均优于标准子梯度方法。