[论文解读] Riemannian Perspective on Matrix Factorization

Kwangjun Ahn, Felipe Suárez|arXiv (Cornell University)|Feb 1, 2021

Sparse and Compressive Sensing Techniques参考文献 42被引用 4

一句话总结

本文提出了一种用于矩阵补全中矩阵分解的黎曼几何框架，通过格拉斯曼流形和主角分析优化景观。研究证明，在真实子空间附近的特定区域内，目标函数是测地凸的，且该区域外的所有临界点均为严格鞍点，为黎曼优化方法的收敛性提供了理论基础。

ABSTRACT

We study the non-convex matrix factorization approach to matrix completion via Riemannian geometry. Based on an optimization formulation over a Grassmannian manifold, we characterize the landscape based on the notion of principal angles between subspaces. For the fully observed case, our results show that there is a region in which the cost is geodesically convex, and outside of which all critical points are strictly saddle. We empirically study the partially observed case based on our findings.

研究动机与目标

• 通过黎曼几何理解矩阵补全中矩阵分解的非凸优化景观。
• 利用子空间之间的主角表征格拉斯曼流形上目标函数的几何结构。
• 识别目标函数为测地凸的区域，并确定所有临界点均为严格鞍点的区域。
• 通过实验验证，将完全观测情况下的洞察扩展至部分观测情况。
• 为黎曼优化在矩阵补全中的有效性提供理论依据。

提出的方法

• 将矩阵分解表述为在单个格拉斯曼流形上的优化问题，通过其列子空间参数化低秩矩阵。
• 利用子空间之间的主角表征目标函数景观的几何结构。
• 在真实子空间周围定义一个邻域 $\mathcal{N}_{[\mathbf{U}]}(\pi/4)$，在此区域内目标函数为测地凸。
• 采用黎曼优化工具，包括测地凸性与二阶导数分析，研究临界点。
• 通过改变采样概率 $p$，比较部分观测情况与完全观测情况，观察景观相似性。
• 通过数值实验验证，在中等 $p$ 值下，部分观测情况下的景观与完全观测情况高度相似。

实验结果

研究问题

• RQ1 在何种几何条件下，矩阵分解的目标函数在格拉斯曼流形上为测地凸？
• RQ2 能否利用子空间之间的主角表征矩阵分解的景观？
• RQ3 所有位于凸区域之外的临界点是否均为严格鞍点？
• RQ4 部分观测情况下的优化景观与完全观测情况相比如何？
• RQ5 完全观测情况下的理论洞察能否推广至部分观测设置？

主要发现

• 目标函数在通过主角定义的真子空间邻域 $\mathcal{N}_{[\mathbf{U}]}(\pi/4)$ 内为测地凸。
• 所有位于该区域外的临界点均为严格鞍点，由逃逸方向上的负二阶导数证实。
• 实验结果表明，当采样概率 $p$ 不过小（例如 $p \geq 0.01$）时，部分观测情况下的景观与完全观测情况高度相似。
• 在标准公式下，部分观测情况下目标函数可能出现不连续，反例显示在 $\mathbf{x} = [1, 0, 0]^\top$ 处存在不连续点。
• 采用弦距或正则化等替代公式可恢复连续性并提升数值稳定性。
• 黎曼梯度下降轨迹在凸区域内保持稳定并收敛，表明具有有利的优化行为。