[论文解读] No Spurious Local Minima in Nonconvex Low Rank Problems: A Unified Geometric Analysis

Rong Ge, Chi Jin+1 more|arXiv (Cornell University)|Apr 3, 2017

Sparse and Compressive Sensing Techniques参考文献 31被引用 221

一句话总结

本文提出一个统一的几何框架，表明非凸低秩矩阵问题（矩阵感知、矩阵完成、鲁棒PCA）没有伪局部极小点，且具有严格鞍点性质，从而实现简单算法的全局收敛。

ABSTRACT

In this paper we develop a new framework that captures the common landscape underlying the common non-convex low-rank matrix problems including matrix sensing, matrix completion and robust PCA. In particular, we show for all above problems (including asymmetric cases): 1) all local minima are also globally optimal; 2) no high-order saddle points exists. These results explain why simple algorithms such as stochastic gradient descent have global converge, and efficiently optimize these non-convex objective functions in practice. Our framework connects and simplifies the existing analyses on optimization landscapes for matrix sensing and symmetric matrix completion. The framework naturally leads to new results for asymmetric matrix completion and robust PCA.

研究动机与目标

• 激发对非凸低秎矩阵问题优化景观的理解。
• 建立一个统一框架，解释在矩阵感知、完成和鲁棒PCA中何时局部极小是全局极小、鞍点为严格的。
• 连接并简化以往分析，并将结果扩展到非对称和鲁棒设定。
• 为如梯度下降和局部搜索等简单优化方法的效率提供启示。

提出的方法

• 通过分解 M = UV^T 来建模低秩矩阵，并在非对称设定下加入正则化以处理不变性。
• 建立对 M 的函数 f 的二次Hessian结构，并使用统一的Hessian为基础的景观框架进行分析。
• 定义一个基于对齐的方向 Delta 来研究改进，并推导出一个将梯度、Hessian和真实解联系起来的主恒等式。
• 利用受限等距性(RIP)和不相干性条件来证明所有局部极小点与真实低秩解一致。
• 将该框架扩展到非对称问题和鲁棒PCA，并进行伪严格鞍点分析。
• 证明正则化项控制可行域，并使Hessian在良好区域内实现范数保持的行为。

实验结果

研究问题

• RQ1 矩阵感知、矩阵完成和鲁棒PCA是否共享一个共同的优化景观，其中所有局部极小点都是全局最优？
• RQ2 一个统一的几何框架能否证明不存在伪局部极小点并为这些问题建立严格的鞍点性质？
• RQ3 正则化项与不相干性/RIP 条件如何交互以确保有利的景观性质，尤其在非对称和带噪声的设置中？
• RQ4 在该框架内，非对称和鲁棒PCA问题是否可以简化为对称的PSD形式？
• RQ5 在所提出的框架下，简单优化方法的收敛性有哪些算法层面的含义？

主要发现

• 对于矩阵感知、矩阵完成和鲁棒PCA，每个局部极小点都是全局最优，且每个鞍点的Hessian具有严格的负特征值（鲁棒严格鞍点性质）。
• 一个统一框架显示这些问题拥有相似的优化景观，解释了简单算法为什么常常收敛到正确的低秩解。
• 正则化有助于将迭代点保持在有利区域，并使Hessian在该区域内实现范数保持的作用，从而促进景观分析和对扰动的稳定性。
• 该框架为非对称矩阵完成和鲁棒PCA带来新结果，并提供一种将非对称问题简化为对称PSD形式的有理方式。
• 推论表明局部搜索方法在多项式时间内以高概率从任意初始化找到目标低秩因子（在无噪声设定下；可扩展到有噪声设定）。