[论文解读] Trust-Region Newton-CG with Strong Second-Order Complexity Guarantees for Nonconvex Optimization

Frank E. Curtis, Daniel P. Robinson+2 more|arXiv (Cornell University)|Dec 9, 2019

Sparse and Compressive Sensing Techniques参考文献 24被引用 30

一句话总结

本文提出了一种改进的信赖域牛顿-CG方法，用于非凸优化，实现了最先进的二阶复杂度保证——与已知的最佳迭代和操作复杂度界完全匹配——同时保持了标准信赖域牛顿-CG方法的实际效率。关键创新在于对算法进行了微小修改，确保在不降低大规模基准测试性能的前提下，以最优方式依赖于容差，实现对 $(\epsilon_g, \epsilon_H)$-驻点的收敛。

ABSTRACT

Worst-case complexity guarantees for nonconvex optimization algorithms have been a topic of growing interest. Multiple frameworks that achieve the best known complexity bounds among a broad class of first- and second-order strategies have been proposed. These methods have often been designed primarily with complexity guarantees in mind and, as a result, represent a departure from the algorithms that have proved to be the most effective in practice. In this paper, we consider trust-region Newton methods, one of the most popular classes of algorithms for solving nonconvex optimization problems. By introducing slight modifications to the original scheme, we obtain two methods -- one based on exact subproblem solves and one exploiting inexact subproblem solves as in the popular "trust-region Newton-Conjugate-Gradient" (trust-region Newton-CG) method -- with iteration and operation complexity bounds that match the best known bounds for the aforementioned class of first- and second-order methods. The resulting trust-region Newton-CG method also retains the attractive practical behavior of classical trust-region Newton-CG, which we demonstrate with numerical comparisons on a standard benchmark test set.

研究动机与目标

• 为理论最优的非凸优化算法与实际方法（如信赖域牛顿-CG）之间存在的差距提供填补，后者缺乏强有力的复杂度保证。
• 开发一种信赖域牛顿-CG变体，以实现寻找 $(\epsilon_g, \epsilon_H)$-驻点的最知名最坏情况迭代和操作复杂度界。
• 确保理论上的改进不会损害实际性能，特别是在迭代次数、函数评估次数和海森向量乘积方面。
• 分析精确和近似子问题求解，重点研究通过共轭梯度方法实现的近似解，在强复杂度保证下的表现。
• 证明对信赖域牛顿-CG进行微小修改，即可在不牺牲标准测试集上收敛行为的前提下，实现最优复杂度。

提出的方法

• 引入一种使用精确海森特征值计算来验证二阶最优性条件的信赖域牛顿方法，子问题采用精确求解。
• 通过添加正则化项修改信赖域子问题，以确保充分下降，并在海森矩阵不定时仍能进行复杂度分析。
• 使用共轭梯度（CG）方法以近似方式求解正则化子问题，通过显式限制CG迭代次数来控制操作复杂度。
• 通过算法3引入终止检查机制，通过计算迭代点上海森矩阵的最小特征值来验证二阶驻性。
• 以梯度评估和海森向量乘积为操作复杂度的定义基础，推导出与文献中最佳已知结果一致的复杂度界。
• 对每次外层迭代的CG迭代次数施加上限，以确保操作复杂度界紧密，同时保持对 $(\epsilon_g, \epsilon_H)$-驻点的收敛。

实验结果

研究问题

• RQ1 能否对信赖域牛顿-CG方法进行修改，使其在不牺牲实际性能的前提下，实现最知名二阶复杂度保证？
• RQ2 为确保最优迭代和操作复杂度，子问题求解和信赖域更新策略需要进行哪些修改？
• RQ3 在子问题中引入正则化项，如何影响理论复杂度和实际收敛行为？
• RQ4 理论复杂度界在大规模非凸问题上的实际表现中，与实际性能的匹配程度如何？
• RQ5 在信赖域框架中能否有效使用近似CG求解，同时仍能保持二阶驻点的最优操作复杂度？

主要发现

• 所提出的信赖域牛顿-CG方法在 $\epsilon_H = \epsilon_g^{1/2}$ 条件下，实现了操作复杂度界 $\tilde{\mathcal{O}}(\epsilon_g^{-7/4})$，与二阶方法的最佳已知结果完全一致。
• 与标准信赖域牛顿-CG相比，该方法保持了相近的迭代次数和梯度评估次数，表明实际性能下降极小。
• 在正则化变体中，海森向量乘积的次数显著减少，尤其当海森向量乘积相对于梯度评估成本较高时优势更明显。
• 在包含109个问题（$n \geq 100$）的基准测试集中，所有算法在两种容差设置下均成功求解了至少101个问题，表现出高度可靠性。
• 绝大多数海森向量乘积是在算法2中完成的，算法3仅在除三个问题外的所有问题的最终迭代中被调用，表明终止检查机制高效。
• 性能分析图显示，正则化变体所需的海森向量乘积次数少于非正则化版本，表明在海森向量乘积成本较高时具有实际优势。