[论文解读] Quasi-Newton approaches to Interior Point Methods for quadratic problems

Jacek Gondzio, F. N. C. Sobral|arXiv (Cornell University)|Jun 26, 2018

Matrix Theory and Algorithms被引用 3

一句话总结

该论文提出了一种用于二次规划的拟牛顿内点法（IPM），通过使用秩一校正更新来近似KKT系统的雅可比矩阵，以替代昂贵的矩阵分解，转而采用计算成本更低的回代求解。该方法减少了矩阵分解的次数——尤其在分解成本占主导地位时效果显著——在二次分配问题上表现出更高的计算效率。

ABSTRACT

Interior Point Methods (IPM) rely on the Newton method for solving systems of nonlinear equations. Solving the linear systems which arise from this approach is the most computationally expensive task of an interior point iteration. If, due to problem's inner structure, there are special techniques for efficiently solving linear systems, IPMs enjoy fast convergence and are able to solve large scale optimization problems. It is tempting to try to replace the Newton method by quasi-Newton methods. Quasi-Newton approaches to IPMs either are built to approximate the Lagrangian function for nonlinear programming problems or provide an inexpensive preconditioner. In this work we study the impact of using quasi-Newton methods applied directly to the nonlinear system of equations for general quadratic programming problems. The cost of each iteration can be compared to the cost of computing correctors in a usual interior point iteration. Numerical experiments show that the new approach is able to reduce the overall number of matrix factorizations and is suitable for a matrix-free implementation.

研究动机与目标

• 解决大规模二次规划中内点法（IPM）的高矩阵分解计算成本问题。
• 探索用拟牛顿更新替代基于牛顿法的线性求解，以减少昂贵的矩阵分解次数。
• 开发一种无矩阵、保持结构的拟牛顿方法，以维持未约简KKT系统的稀疏性和结构特性。
• 研究低秩雅可比近似是否能在分解次数和CPU时间方面与标准预测-校正IPM迭代相媲美或超越。

提出的方法

• 基于函数值评估 $ F $ 的秩一校正更新，近似KKT系统的雅可比矩阵 $ J(x, \nu, z) $，灵感来自Broyden方法。
• 仅使用最近一次迭代来更新雅可比近似，避免每次迭代需要多次函数评估。
• 保持未约简KKT矩阵的稀疏性和块结构，以维持计算效率。
• 将拟牛顿系统求解集成到IPM框架中，用拟牛顿更新替代标准校正步骤，其计算成本与标准IPM中单次校正步骤相当。
• 作为HOPDM求解器的修改版本实现该方法，采用Broyden的“差”更新，经调整以保持矩阵结构。
• 在单次分解后通过回代求解得到最终线性系统，最小化重复分解。

实验结果

研究问题

• RQ1 基于秩一更新的拟牛顿方法是否能在不牺牲收敛性的前提下，减少二次规划IPM中的矩阵分解次数？
• RQ2 当矩阵分解成本占主导地位时，通过函数评估近似KKT系统的雅可比矩阵是否能带来整体求解时间的加快？
• RQ3 低秩拟牛顿近似在多大程度上保持了未约简KKT矩阵的结构特性？
• RQ4 在哪些问题类别中，拟牛顿IPM在CPU时间和分解次数方面优于标准预测-校正IPM？
• RQ5 该方法能否以无矩阵方式有效实现，避免重复分解？

主要发现

• 所提出的拟牛顿IPM在大多数测试问题中相比标准IPM实现方式减少了矩阵分解次数。
• 在QAP测试集中，分解次数的减少系统性地转化为CPU时间的降低，表明当分解成本较高时该方法具有更高的效率。
• 该方法在显著减少分解次数的同时，实现了与标准IPM相当的性能，尤其在分解占运行时间主导地位的问题中受益明显。
• 基于Broyden的更新保持了未约简KKT矩阵的稀疏性和块结构，从而支持高效的回代求解。
• 求解拟牛顿系统的计算成本与标准IPM中单次校正步骤的计算成本相当。
• 该方法在分解成本相对于回代成本较高的问题中表现尤为突出，如大规模二次分配问题。