[论文解读] Provable Accelerated Gradient Method for Nonconvex Low Rank Optimization

Huan Li, Zhouchen Lin|arXiv (Cornell University)|Feb 16, 2017

Sparse and Compressive Sensing Techniques参考文献 63被引用 5

一句话总结

本文通过将矩阵分解为较小因子，并应用Nesterov风格加速与交替约束策略，提出了一种非凸低秩矩阵优化的可证明加速梯度方法。该方法在初始点任意的情况下，实现了具有最优条件数依赖性的局部线性收敛速率√(L/μ)，并全局收敛至临界点。

ABSTRACT

Optimization over low rank matrices has broad applications in machine learning. For large scale problems, an attractive heuristic is to factorize the low rank matrix to a product of two much smaller matrices. In this paper, we study the nonconvex problem $\min_{U\in\mathcal{R}^{n imes r}} g(U)=f(UU^T)$ under the assumptions that $f(X)$ is restricted $μ$-strongly convex and $L$-smooth on the set $\{X:X\succeq 0,rank(X)\leq r\}$. We propose an accelerated gradient method with alternating constraint that operates directly on the $U$ factors and show that the method has local linear convergence rate with the optimal dependence on the condition number of $\sqrt{L/μ}$. Globally, our method converges to the critical point with zero gradient from any initializer. Our method also applies to the problem with the asymmetric factorization of $X=\widetilde U\widetilde V^T$ and the same convergence result can be obtained. Extensive experimental results verify the advantage of our method.

研究动机与目标

• 开发一种用于非凸低秩矩阵优化的加速一阶方法，实现对条件数的可证明收敛性，且依赖关系最优。
• 解决在非凸低秩问题中加速梯度方法的挑战，其中标准凸加速技术无法直接适用。
• 确保即使在矩阵分解引入非凸性的情况下，也能实现从任意初始化到临界点（梯度为零）的全局收敛。
• 将该方法扩展至非对称分解（X = ŨṼᵀ）形式，同时保持收敛性保证。
• 通过限制强凸性和极分解建立理论收敛速率，使经典加速方法可应用于约束子问题。

提出的方法

• 提出一种直接在低秩因子U上运行的加速梯度方法，采用Nesterov动量方案并引入自适应动量参数。
• 引入一种交替约束策略，将迭代点投影到满足UUᵀ接近最优解的矩阵集合上，确保收敛至真实临界点。
• 利用极分解在轨迹上建立局部限制强凸性，使凸加速理论可应用于非凸问题。
• 采用李雅普诺夫函数框架证明收敛性，结合梯度下降步长与动量项以加速收敛。
• 推导出确保稳定性和收敛性的步长与动量参数条件，其中γ和ν以L、μ、η和β_max表示。
• 将该方法应用于对称分解（X = UUᵀ）和非对称分解（X = ŨṼᵀ）两种情形，证明其具有相同的收敛保证。

实验结果

研究问题

• RQ1 Nesterov风格加速能否被可证明地应用于非凸低秩矩阵优化问题？
• RQ2 该加速方法是否实现了对条件数√(L/μ)的最优依赖关系的收敛速率？
• RQ3 尽管矩阵分解引入了非凸性，是否仍能保证向临界点的全局收敛？
• RQ4 交替约束策略如何确保收敛至真实解，而非约束问题的局部极小值？
• RQ5 该收敛理论是否可扩展至非对称低秩分解？

主要发现

• 所提方法实现了局部线性收敛，收敛速率依赖于√(L/μ)，该依赖关系在条件数方面为最优。
• 从任意初始化出发，均能保证全局收敛至梯度为零的临界点，即使在非凸设置下亦成立。
• 该方法在对称与非对称低秩分解下均保持相同的收敛速率。
• 收敛分析依赖于通过极分解建立的限制强凸性，从而使得凸加速技术可应用于该非凸问题。
• 理论保证得到了大量实验结果的支持，显示其性能显著优于标准梯度方法。
• 在推导出的步长与动量参数条件下，该方法具有稳定性，其中γ和ν被定义为确保收敛。