[论文解读] Worst-case iteration bounds for log barrier methods on problems with nonconvex constraints

Oliver Hinder, Yinyu Ye|arXiv (Cornell University)|Jul 1, 2018

Advanced Optimization Algorithms Research参考文献 44被引用 5

一句话总结

本文提出一种用于非凸约束非线性优化的新 interior point method (IPM)，采用信赖域方法求解 log barrier 子问题。该方法首次建立了寻找 μ-近似 Fritz John 点的多项式迭代复杂度界 O(μ⁻⁷/⁴)，显著改进了非凸 IPM 的复杂度保证，并在标准约束资格条件下实现了向 KKT 点的全局收敛。

ABSTRACT

Interior point methods (IPMs) that handle nonconvex constraints such as IPOPT, KNITRO and LOQO have had enormous practical success. We consider IPMs in the setting where the objective and constraints are thrice differentiable, and have Lipschitz first and second derivatives on the feasible region. We provide an IPM that, starting from a strictly feasible point, finds a $μ$-approximate Fritz John point by solving $\mathcal{O}( μ^{-7/4})$ trust-region subproblems. For IPMs that handle nonlinear constraints, this result represents the first iteration bound with a polynomial dependence on $1/μ$. We also show how to use our method to find scaled-KKT points starting from an infeasible solution and improve on existing complexity bounds.

研究动机与目标

• 为解决非凸约束问题中 interior point methods (IPMs) 的最坏情况迭代复杂度差距，其中先前方法在 1/μ 上缺乏多项式依赖关系。
• 开发一种全局收敛的 IPM，可在标准光滑性和 Lipschitz 连续可微性假设下，对 μ-近似 Fritz John 点提供可证明的迭代复杂度界。
• 将方法扩展至处理不可行初始点，并改进寻找缩放 KKT 点的复杂度界。
• 为 IPOPT、KNITRO 和 LOQO 等实际 IPM 提供理论基础，这些方法在实践中表现良好，但缺乏最坏情况保证。

提出的方法

• 该方法使用 log barrier 函数 ψμ(x) = f(x) − μ∑log(ai(x)) 处理不等式约束，其中 μ 为中心路径参数。
• 在每次迭代中求解一个信赖域子问题，以确保充分下降并实现全局收敛，利用拉格朗日函数 Hessian 矩阵的二阶信息。
• 算法保持严格可行性，并使用带回溯规则的线搜索，以确保向最优解的进展。
• 方法从严格可行点初始化，并采用两阶段策略：第一阶段减小不可行性，第二阶段提升最优性。
• 在精确算术下，信赖域子问题可在 O(n³) 次运算内精确求解，从而支持理论复杂度分析。
• 该方法利用 log barrier 及其 Hessian 矩阵的结构，通过梯度和 Hessian 矩阵的 Lipschitz 连续性推导复杂度界。

实验结果

研究问题

• RQ1 我们能否为非凸问题的 IPM 建立具有 1/μ 多项式依赖关系的最坏情况迭代复杂度界？
• RQ2 对 log barrier 子问题采用信赖域方法，是否能比现有方法更优地实现寻找近似 KKT 或 Fritz John 点的复杂度？
• RQ3 当 μ 趋近于零时，若在极限点处满足 Mangasarian-Fromovitz 约束资格条件，该方法是否收敛至 KKT 点？
• RQ4 该方法能否被调整为从不可行点开始，同时保持有利的复杂度界？
• RQ5 子问题子最优性参数中，不可行性与最优性之间的最优权衡是什么？

主要发现

• 该方法在 O(μ⁻⁷/⁴) 个信赖域子问题内找到 μ-近似 Fritz John 点，这是非凸 IPM 的首个多项式迭代复杂度界。
• 当 μ → 0 时，若在极限点处满足 Mangasarian-Fromovitz 约束资格条件，则任意收敛的近似解序列均收敛至 KKT 点。
• 该方法改进了现有寻找缩放 KKT 点的复杂度界，尤其在从不可行迭代点开始时表现更优。
• 该算法在寻找 ε-最优和 ε-不可行解时，实现了 O(ε_opt⁻² ε_inf⁻³/₂) 的复杂度界，优于先前方法。
• 信赖域子问题在 O(n³) 次算术运算内精确求解，支持严格的复杂度分析。
• 该方法对初始化具有鲁棒性，并且即使从不可行点开始也能保持全局收敛。