[论文解读] Proximal Gradient Method for Nonsmooth Optimization over the Stiefel Manifold

Shixiang Chen, Shiqian Ma+2 more|arXiv (Cornell University)|Nov 2, 2018

Sparse and Compressive Sensing Techniques参考文献 90被引用 6

一句话总结

本文提出了一种基于回溯的近端梯度方法（ManPG），用于在Stiefel流形上进行非光滑优化，结合了切空间上的近端梯度步骤与黎曼回溯。该方法建立了全局收敛至驻点的结果，并分析了迭代复杂度，实验证明在稀疏主成分分析和压缩模态问题中优于现有方法。

ABSTRACT

We consider optimization problems over the Stiefel manifold whose objective function is the summation of a smooth function and a nonsmooth function. Existing methods for solving this kind of problems can be classified into three classes. Algorithms in the first class rely on information of the subgradients of the objective function and thus tend to converge slowly in practice. Algorithms in the second class are proximal point algorithms, which involve subproblems that can be as difficult as the original problem. Algorithms in the third class are based on operator-splitting techniques, but they usually lack rigorous convergence guarantees. In this paper, we propose a retraction-based proximal gradient method for solving this class of problems. We prove that the proposed method globally converges to a stationary point. Iteration complexity for obtaining an $ε$-stationary solution is also analyzed. Numerical results on solving sparse PCA and compressed modes problems are reported to demonstrate the advantages of the proposed method.

研究动机与目标

• 解决在Stiefel流形上非光滑非凸优化缺乏高效且全局收敛算法的问题。
• 克服现有方法的局限性：依赖次梯度（收敛速度慢）、近端点方法（子问题难解）或分裂算子方法（收敛性保证弱）。
• 开发一种方法，利用切空间上的近端梯度信息，同时通过回溯保持流形约束。
• 建立寻找ε-驻点解的全局收敛性和迭代复杂度边界。
• 在稀疏主成分分析和压缩模态问题上，展示方法在实际应用中的高效性和鲁棒性，尤其在高秩解（r > 1）情况下表现更优。

提出的方法

• 提出一种黎曼近端梯度方法（ManPG），在Stiefel流形的切空间上计算近端梯度步骤。
• 采用基于回溯的更新策略以保持可行性，确保每次迭代后迭代点仍位于Stiefel流形上。
• 引入一种线搜索策略，以确保每次迭代中目标函数的充分下降。
• 采用正则化半光滑牛顿法，高效求解计算下降方向的凸子问题。
• 利用ℓ₁范数近端映射的半光滑性，确保子问题求解快速且鲁棒。
• 在标准假设下分析收敛性：光滑部分的梯度满足Lipschitz连续性，非光滑部分为凸、Lipschitz连续且近端可处理。

实验结果

研究问题

• RQ1 在Stiefel流形上，基于近端梯度的方法能否对非光滑非凸问题实现全局收敛，且具备明确定义的下降方向？
• RQ2 所提出的方法在寻找ε-驻点解时，是否比现有方法具有更优的迭代复杂度？
• RQ3 在稀疏主成分分析和r > 1的压缩模态问题等挑战性问题上，该方法的实际表现如何？
• RQ4 与现有求解器（如SOC和PAMAL）相比，该方法对参数选择的敏感性是否更低，表现出更强的鲁棒性？
• RQ5 当近端映射为分片光滑时，能否通过半光滑牛顿法高效求解下降方向的子问题？

主要发现

• 所提出的ManPG方法能全局收敛至Stiefel流形上非光滑优化问题的驻点。
• 在标准假设下，该方法获得ε-驻点解的迭代复杂度为O(1/ε²)。
• 在r > 1的稀疏主成分分析问题中，ManPG在CPU时间上显著优于SOC和PAMAL，同时保持相近的解质量。
• 与SOC和PAMAL相比，ManPG对参数调优的敏感性更低，在实际应用中表现出更强的鲁棒性。
• 在压缩模态问题上的数值结果表明，ManPG能高效找到具有紧支集的稀疏正交解。
• 采用正则化半光滑牛顿法求解子问题，可实现快速可靠的下降方向计算，从而提升整体效率。