[论文解读] Provable Efficient Online Matrix Completion via Non-convex Stochastic Gradient Descent

Chi Jin, Sham M. Kakade+1 more|arXiv (Cornell University)|May 26, 2016

Sparse and Compressive Sensing Techniques参考文献 17被引用 29

一句话总结

本文提出首个基于低秩矩阵分解的非凸随机梯度下降（SGD）的可证明高效的在线矩阵补全算法。通过每次观测仅更新因子矩阵的一个行，该算法实现了接近线性的运行时间，并在标准的无偏性和采样假设下证明了对真实矩阵的收敛性。

ABSTRACT

Matrix completion, where we wish to recover a low rank matrix by observing a few entries from it, is a widely studied problem in both theory and practice with wide applications. Most of the provable algorithms so far on this problem have been restricted to the offline setting where they provide an estimate of the unknown matrix using all observations simultaneously. However, in many applications, the online version, where we observe one entry at a time and dynamically update our estimate, is more appealing. While existing algorithms are efficient for the offline setting, they could be highly inefficient for the online setting. In this paper, we propose the first provable, efficient online algorithm for matrix completion. Our algorithm starts from an initial estimate of the matrix and then performs non-convex stochastic gradient descent (SGD). After every observation, it performs a fast update involving only one row of two tall matrices, giving near linear total runtime. Our algorithm can be naturally used in the offline setting as well, where it gives competitive sample complexity and runtime to state of the art algorithms. Our proofs introduce a general framework to show that SGD updates tend to stay away from saddle surfaces and could be of broader interests for other non-convex problems to prove tight rates.

研究动机与目标

• 解决低秩矩阵补全中缺乏可证明高效的在线算法的问题，其中条目按顺序到达，且估计需实时更新。
• 克服每次新增观测后重新运行离线算法的低效性，该方法在流数据场景下不切实际。
• 开发一种方法，在每次新增条目时仅以极小的计算开销，动态维护低秩矩阵的估计。
• 在存在鞍点的情况下，为非凸SGD在在线矩阵补全设置中建立理论收敛保证。
• 提出一个通用框架，证明SGD可避免鞍点并高效收敛，该框架可推广至矩阵补全以外的其他问题。

提出的方法

• 将矩阵补全建模为非凸优化问题：最小化观测矩阵与其中低秩分解 $\mathbf{U}\mathbf{V}^\top$ 之间差值的Frobenius范数。
• 应用仅在观测到条目 $(i,j)$ 时更新 $\mathbf{U}$ 的第 $i$ 行和 $\mathbf{V}$ 的第 $j$ 行的随机梯度下降（SGD），确保每次更新的代价为 $O(k)$，其中 $k$ 为秩。
• 采用精心选择的步长 $\eta$ 以平衡收敛速度与稳定性，其理论边界通过高概率分析推导得出。
• 提出一种新颖的分析框架，追踪误差 $f(\mathbf{U}_t, \mathbf{V}_t) = \|\mathbf{U}_t\mathbf{V}_t^\top - \mathbf{M}\|_F^2$ 的演化，并在无偏性和采样条件下证明其几何递减。
• 采用势函数与条件期望界来控制迭代点的漂移，证明算法以高概率远离鞍点。
• 证明该算法实现了 $O(\kappa^3 \mu d k \log d)$ 的样本复杂度，且总运行时间在矩阵规模上近乎线性，其中 $\kappa$ 为条件数，$\mu$ 为相干性，$d$ 为维度。

实验结果

研究问题

• RQ1 能否为在线矩阵补全（条目按顺序揭示）设计一个基于非凸SGD的算法，并实现可证明的高效性？
• RQ2 在标准的无偏性和采样假设下，非凸SGD是否能避免鞍点并收敛至真实的低秩矩阵？
• RQ3 此类在线算法的样本复杂度与运行时间相较于最先进离线方法如何？
• RQ4 该设置下SGD的收敛性分析能否推广至其他具有类似几何结构的非凸问题？
• RQ5 如何在保证以高概率收敛至真实矩阵的同时，使算法维持接近线性的总运行时间？

主要发现

• 所提出的在线算法总运行时间在矩阵规模上近乎线性，具体为 $O(\kappa^3 \mu d k \log d)$，具有高度可扩展性。
• 该算法提供了可证明的收敛保证：误差 $\|\mathbf{U}_t\mathbf{V}_t^\top - \mathbf{M}\|_F^2$ 以高概率几何递减。
• 该方法在每次更新中非常高效，每次新增观测仅需 $O(k)$ 次操作，适用于流式环境中的实时应用。
• 该分析引入了一个通用框架，证明SGD可避免鞍点，并在非凸低秩矩阵恢复问题中收敛至全局最小值。
• 当应用于离线设置时，该算法在样本复杂度与运行时间方面与最先进离线算法相当或更优。
• 理论结果在标准假设下成立：真实矩阵具有无偏性，条目均匀采样，确保了广泛适用性。