[论文解读] Structured Quasi-Newton Methods for Optimization with Orthogonality Constraints

Jiang Hu, Bo Jiang+3 more|arXiv (Cornell University)|Sep 3, 2018

Advanced Optimization Algorithms Research被引用 11

一句话总结

该论文提出了一种用于正交约束优化的结构化拟牛顿方法，其中通过有限内存Nystroem方法近似欧几里得Hessian矩阵的昂贵部分，同时保留较便宜的分量。该方法通过在环境欧几里得空间中工作，避免了向量传输操作，实现了全局收敛和q-超线性收敛，且子问题求解达到足够精度。

ABSTRACT

In this paper, we study structured quasi-Newton methods for optimization problems with orthogonality constraints. Note that the Riemannian Hessian of the objective function requires both the Euclidean Hessian and the Euclidean gradient. In particular, we are interested in applications that the Euclidean Hessian itself consists of a computational cheap part and a significantly expensive part. Our basic idea is to keep these parts of lower computational costs but substitute those parts of higher computational costs by the limited-memory quasi-Newton update. More specically, the part related to Euclidean gradient and the cheaper parts in the Euclidean Hessian are preserved. The initial quasi-Newton matrix is further constructed from a limited-memory Nyström approximation to the expensive part. Consequently, our subproblems approximate the original objective function in the Euclidean space and preserve the orthogonality constraints without performing the so-called vector transports. When the subproblems are solved to sufficient accuracy, both global and local q-superlinear convergence can be established under mild conditions. Preliminary numerical experiments on the linear eigenvalue problem and the electronic structure calculation show the effectiveness of our method compared with the state-of-art algorithms.

研究动机与目标

• 解决在正交约束优化中二阶信息计算成本过高的问题，特别是当Hessian矩阵包含一个计算代价较高的分量时。
• 开发一种避免黎曼拟牛顿方法中常见昂贵向量传输操作的方法。
• 在近似昂贵分量的同时，保留Hessian矩阵中计算成本较低的分量。
• 通过在欧几里得空间中近似目标函数并保持正交约束，确保收敛性。
• 通过采用类似信赖域的策略和改进的CG求解器，在较弱条件下实现全局和局部q-超线性收敛。

提出的方法

• 通过保留廉价分量并用有限内存拟牛顿更新替换昂贵分量，构造欧几里得Hessian矩阵的近似。
• 使用有限内存Nystroem近似构建昂贵Hessian分量的初始拟牛顿矩阵。
• 基于目标函数在欧几里得空间中的正则化、近似二阶泰勒展开，构建子问题。
• 使用带有类似信赖域策略的改进共轭梯度法求解子问题，以调节正则化参数。
• 在欧几里得空间中直接保持正交约束，无需向量传输或回归操作。
• 利用黎曼Hessian结构指导拟牛顿更新的构建，同时保持计算效率。

实验结果

研究问题

• RQ1 我们能否设计一种用于正交约束优化的拟牛顿方法，以避免昂贵的向量传输操作？
• RQ2 当Hessian矩阵由一个廉价分量和一个显著更昂贵的分量组成时，如何高效地对其进行近似？
• RQ3 在降低Hessian近似计算成本的同时，能否保持全局和局部q-超线性收敛？
• RQ4 是否可以构建一种拟牛顿更新，使目标函数在欧几里得空间中保持结构，而无需流形回归？
• RQ5 对昂贵Hessian分量采用有限内存Nystroem近似，如何影响收敛性和数值性能？

主要发现

• 所提方法在较弱条件下实现了全局收敛和局部q-超线性收敛，即使Hessian矩阵仅部分可用。
• 通过在环境欧几里得空间中直接操作，避免了向量传输，降低了计算开销。
• 在无源特征值问题和电子结构计算上的初步数值实验表明，性能优于当前最先进的算法。
• 有限内存Nystroem近似能有效捕捉昂贵Hessian分量的主要结构，同时减少存储和计算量。
• 对正则化参数采用类似信赖域的策略，确保了子问题求解的鲁棒精度，这对收敛性至关重要。
• 该方法在无需显式回归或向量传输操作的情况下，准确保持了正交约束。