[论文解读] On Lower Complexity Bounds for Large-Scale Smooth Convex Optimization

Cristóbal Guzmán, Arkadi Nemirovski|arXiv (Cornell University)|Jul 18, 2013

Sparse and Compressive Sensing Techniques参考文献 20被引用 5

一句话总结

本文通过基于下确界卷积的新型平滑核框架，建立了大规模光滑凸优化在 $/ell_p$-球及其矩阵类比（Schatten $p$-范数球）上的紧致复杂度下界。结果表明，条件梯度方法在 $/ell_\infty$-球和谱范数球上的光滑最小化问题中近乎最优，其复杂度与已知上界仅在维度的对数因子范围内存在差异。

ABSTRACT

We derive lower bounds on the black-box oracle complexity of large-scale smooth convex minimization problems, with emphasis on minimizing smooth (with Holder continuous, with a given exponent and constant, gradient) convex functions over high-dimensional ||.||_p-balls, 1<=p<=\infty. Our bounds turn out to be tight (up to logarithmic in the design dimension factors), and can be viewed as a substantial extension of the existing lower complexity bounds for large-scale convex minimization covering the nonsmooth case and the 'Euclidean' smooth case (minimization of convex functions with Lipschitz continuous gradients over Euclidean balls). As a byproduct of our results, we demonstrate that the classical Conditional Gradient algorithm is near-optimal, in the sense of Information-Based Complexity Theory, when minimizing smooth convex functions over high-dimensional ||.||_\infty-balls and their matrix analogies -- spectral norm balls in the spaces of square matrices.

研究动机与目标

• 建立高维 $\|\cdot\|_p$-球上大规模光滑凸优化的信息基础复杂度下界，其中 $1 \leq p \leq \infty$。
• 将现有下界结果从欧几里得空间和非光滑情形扩展至一般光滑性参数（Hölder连续梯度）。
• 通过基于下确界卷积的平滑核技术，统一不同范数下的下界分析方法。
• 在 $\|\cdot\|_\infty$-球和谱范数球的光滑最小化背景下，证明条件梯度算法的近乎最优性。

提出的方法

• 提出一种通用框架，利用下确界卷积与平滑核构造光滑凸优化问题的困难实例。
• 在范数空间中引入‘平滑性质’，要求存在具有Lipschitz梯度且快速增长的凸函数，以保证下确界卷积的光滑性。
• 通过线性嵌入 $Y = GX$ 将 $\|\cdot\|_p$-球上的优化复杂度降低至低维问题，同时保持目标函数与定义域的结构不变。
• 将引理1应用于嵌入后的问题，利用极小极大风险推导出不准确性的下界，并将其回传至原始问题。
• 利用矩阵的对角线限制可诱导出奇异值向量上的 $\|\cdot\|_p$-范数，从而将结果推广至矩阵Schatten范数问题。
• 证明所得下界与已知上界（如Nesterov的快速梯度方法）在维度 $n$ 的对数因子范围内一致。

实验结果

研究问题

• RQ1 在高维空间中，对具有Hölder连续梯度的光滑凸函数在 $\|\cdot\|_p$-球上最小化，其信息基础复杂度下界是什么？
• RQ2 能否证明经典条件梯度算法在 $\|\cdot\|_\infty$-球和谱范数球上的光滑最小化问题中近乎最优？
• RQ3 光滑凸优化的复杂度如何依赖于定义域的几何结构，特别是对于非欧几里得范数？
• RQ4 Moreau包络技术在多大程度上可推广至欧几里得范数之外，以支持非欧几里得平滑化在复杂度分析中的应用？
• RQ5 所推导的下界在矩阵情形下的适用范围如何，特别是在 $T \leq n$ 或 $T \leq O(1)n$ 的情况下？

主要发现

• 本文建立了在 $n$-维 $\|\cdot\|_p$-球上光滑凸最小化的紧致复杂度下界，其与已知上界仅在维度 $n$ 的对数因子范围内存在差异。
• 当 $p = \infty$ 时，任意 $T$ 步局部预言机方法的最坏情况不准确性下界为 $\Omega\left(\frac{1}{\ln^{\kappa-1}(T+1)} \frac{L}{T^{\frac{3\kappa}{2} - 1}}\right)$，其中 $\kappa$ 为Hölder指数，$L$ 为梯度Lipschitz常数。
• 条件梯度算法在 $\|\cdot\|_\infty$-球及其矩阵类比（谱范数球）的光滑最小化问题中，被证明在信息基础复杂度下近乎最优。
• 通过Schatten $p$-范数，下界可推广至矩阵问题，其适用性在 $p \geq 2$ 时受限于 $T \leq n$，在 $1 \leq p \leq 2$ 时受限于 $T \leq O(1)n$，其中 $n$ 为矩阵维数的平方根。
• 通过引入具有快速增长和Lipschitz梯度的平滑核，该框架将Moreau包络技术推广至非欧几里得范数，从而能够构造光滑问题的困难实例。
• 结果解决了光滑非欧几里得设置下一阶方法最优性的一个开放问题，表明任何方法都无法在所推导的下界基础上实现对数级以上的收敛速率改进。