[论文解读] Riemannian Interior Point Methods for Constrained Optimization on Manifolds

Zhijian Lai, Akiko Yoshise|arXiv (Cornell University)|Mar 18, 2022

Advanced Numerical Analysis Techniques被引用 7

一句话总结

本文提出黎曼内点法（RIPM），一种新颖的原对偶内点框架，用于在黎曼流形上求解约束优化问题。在标准假设下，该方法实现了局部超线性与二次收敛，并通过线搜索实现了全局收敛。数值实验表明，与现有黎曼优化方法相比，该方法在稳定性和精度方面表现更优。

ABSTRACT

We extend the classical primal-dual interior point method from the Euclidean setting to the Riemannian one. Our method, named the Riemannian interior point method, is for solving Riemannian constrained optimization problems. We establish its local superlinear and quadratic convergence under the standard assumptions. Moreover, we show its global convergence when it is combined with a classical line search. Our method is a generalization of the classical framework of primal-dual interior point methods for nonlinear nonconvex programming. Numerical experiments show the stability and efficiency of our method.

研究动机与目标

• 将原对偶内点方法从欧氏空间推广至黎曼流形，以解决非凸约束优化问题。
• 建立黎曼设置下内点方法的理论基础，包括KKT向量场及其协变导数。
• 在标准假设下确保所提方法的局部与全局收敛性。
• 通过在具有挑战性的黎曼优化问题上的数值实验，展示该方法的效率与稳定性。
• 提供一个通用框架，适用于等式约束定义流形的问题，相比欧氏方法可降低计算维度。

提出的方法

• 提出一种用于在光滑、完备黎曼流形上求解约束优化的黎曼原对偶内点方法（RIPM）。
• 在流形上定义KKT向量场及其协变导数，以推广最优性条件。
• 在流形的切空间上求解压缩的扰动牛顿方程，当等式约束定义子流形时可降低维度。
• 在大规模场景下，采用Krylov子空间方法高效求解压缩的牛顿系统。
• 引入线搜索全局化策略，以确保全局收敛。
• 通过利用流形特有的微分几何时工具，将经典原对偶框架适配至黎曼几何。

实验结果

研究问题

• RQ1 原对偶内点方法能否推广至黎曼流形上的非凸约束优化问题？
• RQ2 在黎曼设置下，确保局部超线性与二次收敛所需的几何与分析条件是什么？
• RQ3 与现有黎曼算法（如增广拉格朗日法和序列二次规划）相比，黎曼内点法在稳定性和精度方面表现如何？
• RQ4 通过利用等式约束的流形结构，该方法能否降低计算复杂度？
• RQ5 将现代内点方法适配至黎曼几何时，面临哪些理论与数值挑战？

主要发现

• 在标准假设下，黎曼内点法实现了局部超线性和二次收敛，将经典收敛结果推广至黎曼设置。
• 结合经典线搜索后，可建立全局收敛性，确保实际应用中的鲁棒性。
• 数值实验表明，RIPM在稳定性和精度方面优于现有黎曼方法，尤其在非凸问题上表现更优。
• 通过利用等式约束的流形结构，该方法降低了牛顿系统的维度，从而实现计算节省。
• 该方法适用于欧氏内点方法失效的问题，如带非负性约束的低秩矩阵逼近问题。
• 该方法具有通用性，可应用于多种流形（包括Stiefel流形和固定秩流形），且无需满足测地线凸性。