[论文解读] Strong Evaluation Complexity Bounds for Arbitrary-Order Optimization of Nonconvex Nonsmooth Composite Functions

Coralia Cartis, Nicholas I. M. Gould+1 more|arXiv (Cornell University)|Jan 29, 2020

Sparse and Compressive Sensing Techniques参考文献 23被引用 9

一句话总结

本文为非凸、非光滑复合优化问题引入了强高阶近似极小化子，并提出一种自适应正则化算法来计算它们。在Lipschitz连续性假设下，该方法对非复合问题的最坏情况评估复杂度界为$\mathcal{O}(\epsilon^{-q(p+1)/p})$，对复合问题的最坏情况评估复杂度界为$\mathcal{O}(\epsilon^{-(q+1)})$，首次为复合设置中超过一阶的最优性阶提供了已知界。

ABSTRACT

We introduce the concept of strong high-order approximate minimizers for nonconvex optimization problems. These apply in both standard smooth and composite non-smooth settings, and additionally allow convex or inexpensive constraints. An adaptive regularization algorithm is then proposed to find such approximate minimizers. Under suitable Lipschitz continuity assumptions, whenever the feasible set is convex, it is shown that using a model of degree $p$, this algorithm will find a strong approximate q-th-order minimizer in at most ${\cal O}\left(\max_{1\leq j\leq q}ε_j^{-(p+1)/(p-j+1)} ight)$ evaluations of the problem's functions and their derivatives, where $ε_j$ is the $j$-th order accuracy tolerance; this bound applies when either $q=1$ or the problem is not composite with $q \leq 2$. For general non-composite problems, even when the feasible set is nonconvex, the bound becomes ${\cal O}\left(\max_{1\leq j\leq q}ε_j^{-q(p+1)/p} ight)$ evaluations. If the problem is composite, and either $q > 1$ or the feasible set is not convex, the bound is then ${\cal O}\left(\max_{1\leq j\leq q}ε_j^{-(q+1)} ight)$ evaluations. These results not only provide, to our knowledge, the first known bound for (unconstrained or inexpensively-constrained) composite problems for optimality orders exceeding one, but also give the first sharp bounds for high-order strong approximate $q$-th order minimizers of standard (unconstrained and inexpensively constrained) smooth problems, thereby complementing known results for weak minimizers.

研究动机与目标

• 为非凸、非光滑复合函数的强高阶近似极小化子进行形式化定义，包括具有低成本约束的情形。
• 将现有复杂度分析扩展至最优性阶大于一的复合问题，此前此类问题尚无已知界。
• 通过使用自适应正则化算法，弥合高阶优化中弱最优性与强最优性定义之间的差距。
• 为复合与非复合问题在任意模型度数与最优性阶下提供精确的最坏情况评估复杂度界。

提出的方法

• 引入强近似q阶极小化子的概念，将一阶与二阶最优性条件推广至任意阶。
• 提出一种自适应正则化算法，利用p次模型迭代地改进对强极小化子的逼近。
• 在p阶导数上施加Lipschitz连续性假设，以控制模型精度与收敛性。
• 使用Hermite插值构造满足所需导数与函数值条件的光滑插值函数。
• 通过界定为实现每个阶j≤q的期望精度$\epsilon_j$所需的功能与导数评估次数，分析最坏情况评估复杂度，适用于凸或非凸可行集。
• 根据问题结构区分复杂度界：非复合与复合问题、凸与非凸可行集，以及模型度数p。

实验结果

研究问题

• RQ1 能否严格定义强高阶近似极小化子并将其应用于非光滑复合优化问题？
• RQ2 使用自适应正则化算法寻找此类强极小化子的最坏情况评估复杂度是多少？
• RQ3 对于最优性阶q > 1，复合问题与非复合问题的复杂度界有何不同？
• RQ4 所推导的复杂度界在高阶极小化子的$\epsilon$依赖性上是否为紧致的？
• RQ5 该框架能否统一不同类型问题中弱极小化子与强极小化子的复杂度分析？

主要发现

• 对于具有凸可行集的非复合问题，评估复杂度为$\mathcal{O}\left(\max_{j\in\{1,\ldots,q\}}\epsilon_j^{-(p+1)/(p-j+1)}\right)$，优于先前的信赖域界。
• 对于具有非凸可行集的非复合问题，界为$\mathcal{O}\left(\max_{j\in\{1,\ldots,q\}}\epsilon_j^{-q(p+1)/p}\right)$，对弱极小化子而言比以往结果更紧致。
• 对于q>1或非凸可行集的复合问题，界为$\mathcal{O}\left(\max_{j\in\{1,\ldots,q\}}\epsilon_j^{-(q+1)}\right)$，这是此类设置下首次已知的复杂度界。
• 在q=1和q=2时，复杂度界在$\epsilon$依赖性上是紧致的，并在多个特殊情形中被证明为紧致。
• 该分析首次建立了复合问题中强高阶极小化子的复杂度结果，填补了非光滑、非凸优化中的关键空白。
• 结果补充了现有弱极小化子的研究工作，并为现代优化应用中高阶方法的理论基础提供了扩展。