[论文解读] Optimization on flag manifolds

Ke Ye, Ken Sze-Wai Wong+1 more|arXiv (Cornell University)|Jul 1, 2019

Statistical and numerical algorithms参考文献 34被引用 8

一句话总结

本文通过使用标准矩阵运算推导出度量、测地线、梯度和海森矩阵等微分几何对象的闭式解析表达式，开发了用于旗流形（flag manifolds）的黎曼优化算法——这些流形是参数化嵌套子空间序列的光滑流形。关键贡献在于，通过数值稳定且基于线性代数的计算，实现了在旗流形上的最速下降法、共轭梯度法和牛顿法，将黎曼优化的适用范围从欧氏空间、施蒂费尔流形、格拉斯曼流形和正定矩阵流形进一步拓展至新的流形类别。

ABSTRACT

A flag is a sequence of nested subspaces. Flags are ubiquitous in numerical analysis, arising in finite elements, multigrid, spectral, and pseudospectral methods for numerical PDE; they arise in the form of Krylov subspaces in matrix computations, and as multiresolution analysis in wavelets constructions. They are common in statistics too --- principal component, canonical correlation, and correspondence analyses may all be viewed as methods for extracting flags from a data set. The main goal of this article is to develop the tools needed for optimizing over a set of flags, which is a smooth manifold called the flag manifold, and it contains the Grassmannian as the simplest special case. We will derive closed-form analytic expressions for various differential geometric objects required for Riemannian optimization algorithms on the flag manifold; introducing various systems of extrinsic coordinates that allow us to parameterize points, metrics, tangent spaces, geodesics, distance, parallel transport, gradients, Hessians in terms of matrices and matrix operations; and thereby permitting us to formulate steepest descent, conjugate gradient, and Newton algorithms on the flag manifold using only standard numerical linear algebra.

研究动机与目标

• 将黎曼优化系统性地扩展至旗流形，这是一类推广格拉斯曼流形并广泛应用于多级数值与统计方法的新一类光滑流形。
• 利用标准矩阵分解，推导出黎曼几何对象（度量、切空间、测地线、距离、平行移动、梯度和海森矩阵）的闭式解析表达式。
• 仅通过数值线性代数实现旗流形上的实用优化算法（最速下降法、共轭梯度法、牛顿法），避免求解微分方程。
• 通过在主旗流形和非线性特征旗问题上的数值实验，展示所提算法的鲁棒性与可扩展性。

提出的方法

• 使用施蒂费尔坐标参数化旗流形上的点，将旗表示为按嵌套子空间维数分块的正交矩阵。
• 通过切向量上的弗罗贝尼乌斯内积定义旗流形上的典范黎曼度量，从而高效计算梯度和海森矩阵。
• 利用QR分解和奇异值分解推导出测地线与指数映射的闭式表达式，确保数值稳定性和效率。
• 通过涉及正交投影和SVD的矩阵运算实现平行移动，避免迭代或基于微分方程的计算。
• 仅使用矩阵运算构建黎曼优化算法（最速下降法、共轭梯度法、牛顿法），并利用几何对象的解析表达式。
• 使用外蕴坐标将旗流形嵌入欧氏空间，从而利用标准线性代数工具计算所有所需的黎曼量。

实验结果

研究问题

• RQ1 能否系统性地将黎曼优化扩展至旗流形？旗流形是格拉斯曼流形的推广，且在多级数值与统计方法中具有核心地位。
• RQ2 能否使用标准矩阵运算，以闭式表达所有关键黎曼几何对象——包括度量、测地线、梯度、海森矩阵和平行移动？
• RQ3 能否仅通过数值线性代数高效且稳定地实现旗流形上的优化算法，而无需求解微分方程？
• RQ4 所提算法在主旗流形提取和非线性特征旗问题等实际问题上的表现如何？

主要发现

• 对于主旗流形问题的算法1，在不同旗流形维数下，其精度可达真实解的1.4×10⁻⁴至87×10⁻⁴之间，表现出良好的鲁棒性。
• 算法1的运行时间随旗流形维数近似线性增长，在测试设置中，当k=30至k=100时，执行时间范围为0.38秒至4.07秒。
• 对于非线性特征旗问题（56），约在390次迭代后收敛至局部极小值，函数值在约60次迭代后趋于稳定，表明尽管存在非线性，算法仍能收敛。
• 收敛轨迹因分段测地线路径而呈现锯齿状尖峰，这是在曲面流形上使用最速下降法的典型特征。
• 所提框架仅通过标准矩阵运算即可实现旗流形上的优化，无需数值积分或微分方程求解器。