[论文解读] Symmetry, Saddle Points, and Global Geometry of Nonconvex Matrix Factorization

Xingguo Li, Zhaoran Wang+5 more|arXiv (Cornell University)|Dec 29, 2016

Sparse and Compressive Sensing Techniques参考文献 19被引用 29

一句话总结

本文提出了一套基于对称性的通用理论，用于分析具有不变结构的非凸优化问题的几何特性，将其应用于低秩矩阵分解和矩阵感知问题。该理论在参数空间中识别出三个不同区域——分别由负曲率、强凸性或梯度幅度过大所表征——从而实现了从任意初始点出发的迭代算法的全局收敛性保证。

ABSTRACT

We propose a general theory for studying the geometry of nonconvex objective functions with underlying symmetric structures. In specific, we characterize the locations of stationary points and the null space of the associated Hessian matrices via the lens of invariant groups. As a major motivating example, we apply the proposed general theory to characterize the global geometry of the low-rank matrix factorization problem. In particular, we illustrate how the rotational symmetry group gives rise to infinitely many non-isolated strict saddle points and equivalent global minima of the objective function. By explicitly identifying all stationary points, we divide the entire parameter space into three regions: ($\cR_1$) the region containing the neighborhoods of all strict saddle points, where the objective has negative curvatures; ($\cR_2$) the region containing neighborhoods of all global minima, where the objective enjoys strong convexity along certain directions; and ($\cR_3$) the complement of the above regions, where the gradient has sufficiently large magnitudes. We further extend our result to the matrix sensing problem. This allows us to establish strong global convergence guarantees for popular iterative algorithms with arbitrary initial solutions.

研究动机与目标

• 开发一个通用的理论框架，用于分析具有对称结构的非凸目标函数的几何特性。
• 理解不变群，特别是旋转对称性，如何塑造低秩矩阵分解的优化景观。
• 基于曲率和梯度行为，将整个参数空间划分为三个不同的区域。
• 将分析扩展至矩阵感知问题，并为迭代算法推导出全局收敛性保证。
• 利用群不变性原理，对驻点和海森矩阵零空间进行严格的表征。

提出的方法

• 利用不变群理论，表征对称非凸问题中驻点的位置以及海森矩阵零空间的结构。
• 识别出旋转对称群是矩阵分解景观背后的关键结构。
• 将参数空间划分为三个区域：R₁（具有负曲率的严格鞍点邻域）、R₂（具有强凸性的全局最小值邻域）和R₃（梯度幅度过大的补集）。
• 通过群论分析证明，旋转对称性导致存在无穷多个非孤立的严格鞍点和等价的全局最小值。
• 通过将几何表征扩展至感知设置，将该框架应用于矩阵感知问题。
• 通过证明轨迹避开鞍点并收敛至全局最小值，建立迭代算法的全局收敛性，无论初始点如何。

实验结果

研究问题

• RQ1 连续对称群的存在如何影响非凸优化中驻点的几何结构？
• RQ2 在对称非凸问题中，海森矩阵零空间的精确结构是什么？它与不变群有何关联？
• RQ3 参数空间能否被划分为具有定性不同的曲率和梯度行为的区域？
• RQ4 低秩矩阵分解中的旋转对称性如何导致非孤立的严格鞍点和等价的全局最小值？
• RQ5 能否为具有任意初始解的对称非凸问题中的迭代算法建立全局收敛性保证？

主要发现

• 低秩矩阵分解的旋转对称群生成了无穷多个非孤立的严格鞍点和等价的全局最小值。
• 参数空间被划分为三个区域：R₁（负曲率区域）、R₂（某些方向上具有强凸性的区域）和R₃（梯度幅度过大的区域）。
• 海森矩阵具有与对称群对齐的非平凡零空间，该零空间通过群不变性原理被显式表征。
• 在R₂区域中，目标函数在垂直于对称群的方向上表现出强凸性。
• 由于几何结构的存在以及对鞍点的规避，迭代算法可从任意初始点全局收敛至全局最小值。
• 该框架可扩展至矩阵感知问题，在相同几何条件下仍保持全局收敛性保证。