[论文解读] Near-Optimal Methods for Minimizing Star-Convex Functions and Beyond

Oliver Hinder, Aaron Sidford+1 more|arXiv (Cornell University)|Jun 27, 2019

Sparse and Compressive Sensing Techniques参考文献 47被引用 6

一句话总结

本文提出了一种针对平滑拟凸函数（quasar-convex functions）的近似最优加速一阶方法，该类函数通过参数 $\gamma \in (0,1]$ 推广了凸函数与星凸函数。该方法在找到 $\epsilon$-次优解时，实现 $O(\gamma^{-1}\epsilon^{-1/2}\log(\gamma^{-1}\epsilon^{-1}))$ 次函数与梯度评估，与 $\Omega(\gamma^{-1}\epsilon^{-1/2})$ 的匹配下界一致，证明了其在对数因子范围内的近似最优性。

ABSTRACT

In this paper, we provide near-optimal accelerated first-order methods for minimizing a broad class of smooth nonconvex functions that are strictly unimodal on all lines through a minimizer. This function class, which we call the class of smooth quasar-convex functions, is parameterized by a constant $γ\in (0,1]$, where $γ= 1$ encompasses the classes of smooth convex and star-convex functions, and smaller values of $γ$ indicate that the function can be "more nonconvex." We develop a variant of accelerated gradient descent that computes an $ε$-approximate minimizer of a smooth $γ$-quasar-convex function with at most $O(γ^{-1} ε^{-1/2} \log(γ^{-1} ε^{-1}))$ total function and gradient evaluations. We also derive a lower bound of $Ω(γ^{-1} ε^{-1/2})$ on the worst-case number of gradient evaluations required by any deterministic first-order method, showing that, up to a logarithmic factor, no deterministic first-order method can improve upon ours.

研究动机与目标

• 开发一种高效的一阶优化方法，用于最小化在通过最小值点的直线上具有结构化单峰行为的平滑非凸函数。
• 刻画确定性一阶方法在超越凸性的广泛非凸函数类上的查询复杂度。
• 建立找到 $\epsilon$-次优解所需函数与梯度评估次数的紧致上下界。
• 将加速梯度下降推广至 $\gamma$-拟凸函数类，其中 $\gamma=1$ 对应星凸性，$\gamma$ 越小表示非凸性越强。
• 通过识别具有有利几何特性的函数类，弥合实际性能与最坏情况理论界限之间的差距。

提出的方法

• 作者提出了一种专为 $\gamma$-拟凸函数设计的加速梯度下降变体，引入了依赖曲率的步长规则，以考虑参数 $\gamma$ 的影响。
• 该方法采用基于动量的更新策略，通过利用拟凸性条件 $f(x^*) \geq f(x) + \frac{1}{\gamma} \nabla f(x)^\top (x^* - x)$ 确保向最小值点的充分进展。
• 关键组成部分是使用一个势函数来追踪向最小值点的进展，从而在拟凸性假设下保证收敛性。
• 该算法被设计为零保持型（zero-respecting），即当梯度消失时能保持迭代值的稀疏性，从而支持更紧致的下界分析。
• 分析结合了李雅普诺夫函数技术与一种新颖的从强拟凸函数到拟凸函数的约化方法，以推导下界。
• 该方法在 $\epsilon$-最优性下实现了 $O(\gamma^{-1}\epsilon^{-1/2}\log(\gamma^{-1}\epsilon^{-1}))$ 次函数与梯度评估复杂度。

实验结果

研究问题

• RQ1 加速一阶方法能否在通过最小值点的直线上具有单峰行为的广泛非凸函数类上实现近似最优收敛速率？
• RQ2 最小化平滑 $\gamma$-拟凸函数的最优查询复杂度（函数与梯度评估次数）是多少？
• RQ3 非凸性参数 $\gamma$ 如何影响一阶方法的收敛速率？
• RQ4 能否为该函数类上的确定性一阶方法建立紧致下界？
• RQ5 是否存在一个可证明最优的算法，用于最小化 $\gamma$-拟凸函数，且其性能与理论下界一致？

主要发现

• 所提出的加速梯度下降变体在找到平滑 $\gamma$-拟凸函数的 $\epsilon$-次优解时，实现 $O(\gamma^{-1}\epsilon^{-1/2}\log(\gamma^{-1}\epsilon^{-1}))$ 次总函数与梯度评估。
• 为任意确定性一阶方法建立了 $\Omega(\gamma^{-1}\epsilon^{-1/2})$ 的匹配下界，表明所提方法在对数因子范围内为近似最优。
• $\gamma$-拟凸函数类推广了平滑凸函数与星凸函数，其中 $\gamma=1$ 对应星凸性，$\gamma$ 越小表示非凸性越强。
• 下界通过从强拟凸函数到拟凸函数的约化推导得出，利用了强凸最小化问题的已知下界。
• 分析表明，复杂度依赖于 $\gamma^{-1}$，表明当函数非凸性增强（$\gamma$ 变小）时，所需评估次数与 $\gamma$ 成反比增加。
• 结果表明，具有沿最小值点连线单峰行为的结构化非凸函数，其优化速度远快于一般非凸函数，即使全局最小值点不唯一。