[论文解读] "Relative-Continuity" for Non-Lipschitz Non-Smooth Convex Optimization using Stochastic (or Deterministic) Mirror Descent

Haihao Lu|arXiv (Cornell University)|Oct 12, 2017

Sparse and Compressive Sensing Techniques参考文献 10被引用 14

一句话总结

本文提出了“相对连续性”——一种相对于用户定义的参考函数 h 的广义光滑性条件——以实现非Lipschitz、非光滑凸优化中镜像下降法的收敛性保证。在该条件下，本文建立了确定性和随机镜像下降法的计算复杂度界，使诸如SVM和椭球交集等传统一阶方法框架之外的难题得以解决。

ABSTRACT

The usual approach to developing and analyzing first-order methods for non-smooth (stochastic or deterministic) convex optimization assumes that the objective function is uniformly Lipschitz continuous with parameter $M_f$. However, in many settings the non-differentiable convex function $f(\cdot)$ is not uniformly Lipschitz continuous -- for example (i) the classical support vector machine (SVM) problem, (ii) the problem of minimizing the maximum of convex quadratic functions, and even (iii) the univariate setting with $f(x) := \max\{0, x\} + x^2$. Herein we develop a notion of "relative continuity" that is determined relative to a user-specified "reference function" $h(\cdot)$ (that should be computationally tractable for algorithms), and we show that many non-differentiable convex functions are relatively continuous with respect to a correspondingly fairly-simple reference function $h(\cdot)$. We also similarly develop a notion of "relative stochastic continuity" for the stochastic setting. We analysis two standard algorithms -- the (deterministic) mirror descent algorithm and the stochastic mirror descent algorithm -- for solving optimization problems in these two new settings, and we develop for the first time computational guarantees for instances where the objective function is not uniformly Lipschitz continuous. This paper is a companion paper for non-differentiable convex optimization to the recent paper by Lu, Freund, and Nesterov, which developed similar sorts of results for differentiable convex optimization.

研究动机与目标

• 解决标准一阶方法依赖统一Lipschitz连续性所带来的局限性，该条件在许多非光滑凸问题中不成立。
• 克服传统次梯度和梯度方法在SVM和椭球交集等问题上无法提供计算保证的缺陷。
• 构建一种新的理论框架——“相对连续性”——将光滑性条件推广为相对于计算上可处理的参考函数 h 的形式。
• 通过放宽标准光滑性假设，将镜像下降算法的适用范围扩展至非Lipschitz、非光滑凸优化问题。
• 为在目标函数非统一Lipschitz连续的设置下，首次提供确定性和随机镜像下降法的计算复杂度保证。

提出的方法

• 定义凸函数 f 相对于参考函数 h 的“相对连续性”，其中 f 的次梯度范数被有界于 h 的次梯度范数的多项式。
• 在随机设置下引入“相对随机连续性”，将该框架扩展至噪声或采样梯度的情形。
• 使用基于参考函数 h 的Bregman散度实施镜像下降算法，并采用与相对连续性参数相适应的自适应步长。
• 通过一种新颖的复杂度分析，利用Bregman散度和相对连续性参数界约束迭代过程的进展，推导出计算保证。
• 针对特定问题（如SVM、椭球交集）显式构造参考函数 h(x)，其形式包含 x 的范数的谱范数、二次和线性项。
• 利用Danskin定理和KKT条件界约束次梯度范数，并验证非光滑、非Lipschitz目标函数的相对连续性。

实验结果

研究问题

• RQ1 我们能否开发一种适用于非Lipschitz、非光滑凸函数的广义光滑性条件，从而实现一阶方法的收敛性分析？
• RQ2 当目标函数非统一Lipschitz连续时，能否保证镜像下降法在优化问题中的收敛？
• RQ3 如何构造一个参考函数 h，使得给定的非光滑、非Lipschitz凸函数 f 相对于 h 是相对连续的？
• RQ4 在相对连续性条件下，能否为确定性和随机镜像下降法推导出计算复杂度界？
• RQ5 所提出的框架能否应用于SVM和椭球交集等实际问题，而这些问题超出了经典一阶方法的适用范围？

主要发现

• 椭球交集问题（IEP）的目标函数相对于参考函数 $ h(x) = \frac{\tau}{4}\norm{x}_2^4 + \frac{\rho}{3}\norm{x}_2^3 + \frac{\rho}{2}\norm{x}_2^2 $ 是1-连续的，其中 $ \tau, \rho, \rho $ 由问题的矩阵和向量参数导出。
• 对于IEP，采用常数步长 $ t_i = \tilde{\tau} $ 的确定性镜像下降法，在 $ k = \left\lceil \frac{\norm{x^* - x^0}^2 (3\tau(\norm{x^* + x^0}_2^2 + 2\norm{x^0}_2^2) + 4\rho(\norm{x^*}_2 + 2\norm{x^0}_2) + 6\gamma)}{6\tilde{\tau}^2} \right\rceil - 1 $ 次迭代后，满足 $ f(\bar{x}^k) - f^* \neq \tilde{\tau} $。
• SVM问题的最优解位于半径为 $ R = \min\left\{ \frac{1}{n\lambda} \sum_{i=1}^n \norm{w_i}_2, \sqrt{2/\lambda} \right\} $ 的球内，从而支持对初始迭代点的有界性假设。
• SVM目标函数的次梯度范数被有界于 $ \norm{x}_2 $ 的二次多项式，证实其相对于所构造的参考函数具有相对连续性。
• 本文首次为非Lipschitz、非光滑设置下的镜像下降法提供了计算保证，将一阶方法的适用范围扩展至经典假设之外。
• 该框架使SVM和IEP等此前因缺乏Lipschitz连续性而无法用标准次梯度或梯度方法分析的问题，得以实现收敛性分析。