[论文解读] Optimality of orders one to three and beyond: characterization and evaluation complexity in constrained nonconvex optimization

Coralia Cartis, Nicholas I. M. Gould+1 more|arXiv (Cornell University)|May 20, 2017

Advanced Optimization Algorithms Research被引用 3

一句话总结

本文提出了一种两阶段算法，用于在具有通用不等式和等式约束的非凸优化问题中寻找近似的一阶、二阶和三阶临界点，并分析了在不同内部求解器选择下的评估复杂度。该研究首次建立了具有通用不等式和等式约束的非凸优化问题中二阶和三阶临界性的复杂度边界，同时指出了惩罚法在高阶最优性中的根本局限性。

ABSTRACT

Necessary conditions for high-order optimality in smooth nonlinear constrained optimization are explored and their inherent intricacy discussed. A two-phase minimization algorithm is proposed which can achieve approximate first-, second- and third-order criticality and its evaluation complexity is analyzed as a function of the choice (among existing methods) of an inner algorithm for solving subproblems in each of the two phases. The relation between high-order criticality and penalization techniques is finally considered, showing that standard algorithmic approaches will fail if approximate constrained high-order critical points are sought.

研究动机与目标

• 填补具有通用不等式和等式约束的非凸优化中二阶和三阶临界点评估复杂度分析的空白。
• 分析一种实现近似一阶、二阶和三阶临界性的两阶段算法的最坏情况评估复杂度。
• 研究在三阶以上高阶最优性方面所面临的内在困难，特别是与惩罚技术的关系。
• 纠正先前工作[21]中关于一阶临界性条件中拉格朗日乘子符号的错误。
• 证明标准的基于惩罚的方法在寻求近似约束高阶临界点时会失效。

提出的方法

• 提出一种两阶段算法：第一阶段通过最小化一个增益函数以实现近似一阶临界性，第二阶段则对解进行细化以实现二阶和三阶临界性。
• 采用类似信赖域的全局化策略，对目标函数和约束函数使用高阶泰勒模型（最高至三阶）。
• 采用缩放的KKT条件框架，其中原问题和对偶问题的不一致性分别以精度阈值 $\epsilon_{\text{P}}$ 和 $\epsilon_{\text{D}}$ 衡量。
• 引入一个临界性度量 $\phi_{\mu,j}^{\Delta_k}$ 以在最优性条件中考虑不等式约束，从而增强对约束违反的鲁棒性。
• 将评估复杂度分析为每个阶段中所用内部算法的函数，特别关注求解子问题的成本。
• 应用 Łojasiewicz 不等式，表明在某些条件下，过早在不可行点终止的可能性较低，暗示更强的收敛行为。

实验结果

研究问题

• RQ1 在具有通用不等式和等式约束的约束非凸优化中，寻找 $\epsilon$-近似二阶和三阶临界点的最坏情况评估复杂度是多少？
• RQ2 两阶段方法中内部算法的选择如何影响整体评估复杂度？
• RQ3 为何标准的基于惩罚的方法在求解等式约束问题中的高阶临界点时会失效？
• RQ4 在具有约束的非凸优化中，实现三阶以上高阶最优性的内在困难是什么？
• RQ5 能否通过在临界性度量中使用 $\|c(x)\|$ 的梯度而非 $\|c(x)\|^2$，来加强一阶临界性复杂度边界的紧致性？

主要发现

• 本文首次建立了具有通用不等式和等式约束的约束非凸优化中二阶和三阶临界点的评估复杂度边界。
• 两阶段算法在实现一阶临界性时达到 $O(\epsilon_{\text{P}}^{-1/2}\epsilon_{\text{D}}^{-3/2})$ 的评估复杂度，并通过引入额外的复杂度因子扩展至更高阶。
• 该分析纠正了[21]中的错误，确保了一阶临界性条件中拉格朗日乘子的符号正确，与最小化问题一致而非最大化问题。
• Łojasiewicz 不等式表明，在标准假设下，因 $\|c(x)\|$ 的梯度较小而在不可行点提前终止的可能性较低，暗示具有更强的收敛行为。
• 该方法通过使用 $p$ 次连续可微函数避免了二阶导数的不连续性，而某些先前方法则使用了不连续的残差模型。
• 研究表明，基于惩罚的方法在等式约束问题中寻找高阶临界点时存在根本性缺陷，这是由于其内在的算法局限性所致。