[论文解读] Weakly Convex Optimization over Stiefel Manifold Using Riemannian Subgradient-Type Methods

Xiao Li, Shixiang Chen+4 more|arXiv (Cornell University)|Nov 12, 2019

Sparse and Compressive Sensing Techniques参考文献 91被引用 16

一句话总结

本文提出了一类适用于Stiefel流形上弱凸优化的黎曼次梯度类型方法——次梯度法、增量次梯度法与随机次梯度法，证明了在达到ε-平稳性时具有𝒪(ε⁻⁴)的迭代复杂度。此外，在满足锐度条件且采用几何递减步长与合适初始化的情况下，进一步建立了局部线性收敛性，首次为该类在Stiefel流形上的非凸非光滑问题提供了收敛性保证。

ABSTRACT

We consider a class of nonsmooth optimization problems over the Stiefel manifold, in which the objective function is weakly convex in the ambient Euclidean space. Such problems are ubiquitous in engineering applications but still largely unexplored. We present a family of Riemannian subgradient-type methods -- namely Riemannain subgradient, incremental subgradient, and stochastic subgradient methods -- to solve these problems and show that they all have an iteration complexity of ${\cal O}(\varepsilon^{-4})$ for driving a natural stationarity measure below $\varepsilon$. In addition, we establish the local linear convergence of the Riemannian subgradient and incremental subgradient methods when the problem at hand further satisfies a sharpness property and the algorithms are properly initialized and use geometrically diminishing stepsizes. To the best of our knowledge, these are the first convergence guarantees for using Riemannian subgradient-type methods to optimize a class of nonconvex nonsmooth functions over the Stiefel manifold. The fundamental ingredient in the proof of the aforementioned convergence results is a new Riemannian subgradient inequality for restrictions of weakly convex functions on the Stiefel manifold, which could be of independent interest. We also show that our convergence results can be extended to handle a class of compact embedded submanifolds of the Euclidean space. Finally, we discuss the sharpness properties of various formulations of the robust subspace recovery and orthogonal dictionary learning problems and demonstrate the convergence performance of the algorithms on both problems via numerical simulations.

研究动机与目标

• 解决在Stiefel流形上对非光滑、非凸优化缺乏收敛性理论的问题，特别是当目标函数在环境空间中为弱凸时。
• 设计并分析适用于此类问题的黎曼次梯度类型算法——标准、增量与随机版本。
• 在额外的锐度条件与步长条件下，建立全局次线性收敛性与局部线性收敛性。
• 将理论框架扩展至欧氏空间中的紧致嵌入子流形。
• 在真实世界问题（如鲁棒子空间恢复与正交字典学习）中验证理论结果。

提出的方法

• 为Stiefel流形上弱凸函数提出定制化的黎曼次梯度法、增量次梯度法与随机次梯度法。
• 提出一种新颖的、受限于Stiefel流形的弱凸函数的黎曼次梯度不等式，作为收敛性分析的理论基础。
• 采用几何递减步长（γₖ = βᵏγ₀）以在问题满足锐度性质时实现局部线性收敛。
• 通过重投影（retraction）与向量传输（vector transport）操作，确保迭代过程始终位于Stiefel流形上。
• 利用目标函数f(X) = (1/m)∑fᵢ(X)的有限和结构，设计增量与随机变体。
• 基于新提出的黎曼次梯度不等式，通过李雅普诺夫函数分析建立收敛性，确保在𝒪(ε⁻⁴)次迭代内达到平稳性。

实验结果

研究问题

• RQ1 黎曼次梯度类型方法在Stiefel流形上最小化弱凸函数的全局迭代复杂度是多少？
• RQ2 在何种条件下，黎曼次梯度方法可在Stiefel流形上实现局部线性收敛？
• RQ3 弱凸最小化问题的收敛性理论能否超越Stiefel流形，推广至欧氏空间中的其他紧致嵌入子流形？
• RQ4 鲁棒子空间恢复与正交字典学习的公式是否表现出实现线性收敛所必需的锐度性质？
• RQ5 所提出的算法在具有非光滑、非凸目标函数的真实世界工程问题中实际表现如何？

主要发现

• 黎曼次梯度法、增量次梯度法与随机次梯度法均能在𝒪(ε⁻⁴)次迭代内使自然的平稳性度量低于ε，实现全局复杂度。
• 当问题满足锐度条件，且采用几何递减步长与合适初始化时，黎曼次梯度法与增量次梯度法可线性收敛至弱锐极小值集合。
• 在鲁棒子空间恢复与正交字典学习上的数值模拟表明：使用递减步长时呈现次线性收敛，而使用几何递减步长时实现线性收敛。
• 针对Stiefel流形上弱凸函数的黎曼次梯度不等式是关键的理论贡献，可能在流形优化领域具有独立研究价值。
• 理论结果可扩展至一类欧氏空间中的紧致嵌入子流形，显著拓宽了该框架的适用范围。
• 全局收敛速率𝒪(ε⁻⁴)可能并非紧致界，因为黎曼近端点法可达到𝒪(k⁻¹ᐟ²)，提示未来工作存在改进潜力。