[论文解读] Shape-Changing L-SR1 Trust-Region Methods

Johannes J. Brust, Oleg Burdakov+3 more|arXiv (Cornell University)|Jul 12, 2016

Matrix Theory and Algorithms参考文献 18被引用 5

一句话总结

本文提出了一种形状可变的 L-SR1信赖域方法，利用有限内存对称秩一更新高效求解信赖域子问题。通过利用两种形状可变的范数，该方法将问题分解为一个闭式解子问题和一个易于处理的子问题，在困难情形下仍能获得高精度解，且满足全局最优性条件。

ABSTRACT

In this article, we propose a method for solving the trust-region subproblem when a limited-memory symmetric rank-one matrix is used in place of the true Hessian matrix. The method takes advantage of two shape-changing norms to decompose the trust-region subproblem into two separate problems, one of which has a closed-form solution and the other one is easy to solve. Sufficient conditions for global solutions to both subproblems are given. The proposed solver makes use of the structure of limited-memory symmetric rank-one matrices to find solutions that satisfy these optimality conditions. Solutions to the trust-region subproblem are computed to high-accuracy even in the so-called "hard case".

研究动机与目标

• 为解决在使用有限内存对称秩一（L-SR1）海森近似时高效求解信赖域子问题的挑战。
• 开发一种方法，确保全局收敛性和高精度，特别是在标准方法失效的所谓“困难情形”下。
• 利用 L-SR1 矩阵的结构，通过形状可变范数将子问题分解为更简单、可解的组成部分。
• 为分解产生的两个子问题提供全局最优性的充分条件。
• 确保在无需精确海森矩阵的情况下获得鲁棒且精确的解，从而提升大规模优化中的可扩展性。

提出的方法

• 该方法引入两种形状可变范数，将信赖域子问题转化为两个解耦的子问题。
• 通过利用 L-SR1 矩阵的结构，将其中一个子问题构造为具有闭式解。
• 通过范数变换简化第二个子问题，使其易于通过高效数值方法求解。
• 利用最优性理论推导出的充分条件，验证两个子问题的全局最优解。
• 该方法利用 L-SR1 更新的低秩结构，在保持计算效率的同时确保精度。
• 通过求解分解后的子问题并满足全局最优性条件，实现高精度解的计算。

实验结果

研究问题

• RQ1 当使用有限内存对称秩一海森近似时，如何高效求解信赖域子问题？
• RQ2 能否利用形状可变范数将信赖域子问题分解为具有闭式解或易于计算解的可解部分？
• RQ3 什么条件能确保分解产生的子问题的全局最优性？
• RQ4 该方法在标准信赖域方法失效的“困难情形”下表现如何？
• RQ5 能否利用 L-SR1 矩阵的结构在不进行完整海森矩阵计算的情况下保持高精度解？

主要发现

• 该方法成功地将信赖域子问题分解为两部分，其中一部分具有闭式解，显著降低了计算负担。
• 通过范数变换，第二个子问题得到简化，可利用标准优化技术高效求解。
• 为两个子问题推导并满足了全局最优性的充分条件，确保收敛至全局最优解。
• 即使在困难情形下，解的计算精度也极高，而传统方法常失效或收敛缓慢。
• 使用 L-SR1 矩阵保留了实现精确海森近似所需的结构，同时避免了完整矩阵存储或分解。
• 通过利用 L-SR1 更新的低秩对称结构，该方法在各类测试问题上均保持了稳健的性能。