[论文解读] The restricted strong convexity revisited: Analysis of equivalence to error bound and quadratic growth

Hui Zhang|arXiv (Cornell University)|Nov 5, 2015

Advanced Optimization Algorithms Research参考文献 17被引用 5

一句话总结

该论文利用Ekeland变分原理，建立了凸优化中受限强凸性（RSC）、全局误差界（GEB）与二次增长（QG）性质之间的等价性。通过梯度映射和邻近梯度映射扩展了这些概念，证明在梯度-Lipschitz连续性假设下，其等价性依然成立，并推导出邻近梯度法的新渐近线性收敛结果，应用于仿射复合强凸函数在多面体集上的优化问题。

ABSTRACT

The restricted strong convexity is an effective tool for deriving globally linear convergence rates of descent methods in convex minimization. Recently, the global error bound and quadratic growth properties appeared as new competitors. In this paper, with the help of Ekeland's variational principle, we show the equivalence between these three notions. To deal with convex minimization over a closed convex set and structured convex optimization, we propose a group of modified versions and a group of extended versions of these three notions by using gradient mapping and proximal gradient mapping separately, and prove that the equivalence for the modified and extended versions still holds. Based on these equivalence notions, we establish new asymptotically linear convergence results for the proximal gradient method. Finally, we revisit the problem of minimizing the composition of an affine mapping with a strongly convex differentiable function over a polyhedral set, and obtain a strengthened property of the restricted strong convex type under mild assumptions.

研究动机与目标

• 建立凸最小化问题中受限强凸性（RSC）、全局误差界（GEB）与二次增长（QG）性质之间的理论等价性。
• 通过梯度映射和邻近梯度映射，将这三种概念推广至结构化和约束型凸优化问题。
• 证明在目标函数梯度-Lipschitz连续的假设下，RSC、GEB与QG之间的等价性依然保持。
• 基于这些性质的等价性，推导出邻近梯度法的新渐近线性收敛结果。
• 针对在多面体集上最小化一个仿射映射与一个强凸可微函数的复合问题，强化RSC型性质，且无需紧致性假设。

提出的方法

• 利用Ekeland变分原理，证明在无约束凸优化中，RSC、GEB与QG性质之间的等价性。
• 引入基于梯度映射和邻近梯度映射的RSC、GEB与QG的改进与扩展版本，用于处理约束型与结构化凸问题。
• 证明当目标函数满足梯度-Lipschitz连续性时，这些改进与扩展版本之间的等价性依然成立。
• 将该等价性应用于推导邻近梯度法的新收敛结果，表明在这些条件下具有渐近线性收敛性。
• 通过Hoffman误差界与强凸性分析特定问题类——在多面体集上最小化一个仿射映射与一个强凸可微函数的复合——推导出强化的RSC型性质。
• 利用涉及邻近梯度映射与谱范数的关键不等式，对函数增长与下降行为进行有界控制。

实验结果

研究问题

• RQ1 在凸优化中，受限强凸性、全局误差界与二次增长性质是否等价？
• RQ2 在约束或结构化优化中，使用梯度映射与邻近梯度映射时，RSC、GEB与QG之间的等价性是否仍能保持？
• RQ3 当目标函数满足梯度-Lipschitz连续性假设时，该等价性是否依然成立？
• RQ4 当这些等价性质成立时，邻近梯度法的收敛速率可保证为何种形式？
• RQ5 能否为在多面体集上对一个仿射映射与一个强凸函数的复合问题推导出强化的RSC型性质？

主要发现

• 在凸性与可微性条件下，通过Ekeland变分原理证明了受限强凸性、全局误差界与二次增长这三种概念是等价的。
• 基于梯度映射与邻近梯度映射定义的RSC、GEB与QG的改进与扩展版本，在目标函数梯度-Lipschitz连续时，其等价性依然保持。
• 论文基于这些性质的等价性，建立了邻近梯度法的新渐近线性收敛结果。
• 对于最小化 $ f(x) = g(Ex) $ 的问题，其中 $ g $ 为强凸可微函数，在多面体集上成立强化的RSC型性质，且无需紧致性假设。
• 建立了扩展GEB与QG性质之间的等价性，并给出显式常数：对任意 $ au \neq \theta $，有 $ \text{eGEB}(\theta, \rho) $ 蕴含 $ \text{eQG}(\tau, \rho) $，反之亦然，其中 $ \theta = \frac{\tau \rho^2}{(2\rho + \tau)(\rho + L)} $。
• 推导出一个新的函数下降下界：$ f(x) - f(x_Q) \rangle \frac{1}{2\theta} \| G^f_Q(\bar{x}; \theta) \|^2 + \frac{\mu}{2} \| Ex - E\bar{x} \|^2 $，该不等式在强凸性与Lipschitz梯度条件下强化了下降条件。