[论文解读] The Global Optimization Geometry of Low-Rank Matrix Optimization

Zhihui Zhu, Qiuwei Li+2 more|arXiv (Cornell University)|Mar 3, 2017

Sparse and Compressive Sensing Techniques参考文献 45被引用 30

一句话总结

本文通过矩阵分解方法，建立了低秩矩阵优化的全局优化几何结构，表明在受限强凸性和光滑性条件下，因子化问题满足鲁棒严格鞍点性质，从而确保基于梯度的方法实现全局收敛。此外，本文进一步证明了在精确参数化、过参数化和欠参数化设置下，均不存在虚假局部极小值。

ABSTRACT

This paper considers general rank-constrained optimization problems that minimize a general objective function $f(X)$ over the set of rectangular $n imes m$ matrices that have rank at most $r$. To tackle the rank constraint and also to reduce the computational burden, we factorize $X$ into $UV^T$ where $U$ and $V$ are $n imes r$ and $m imes r$ matrices, respectively, and then optimize over the small matrices $U$ and $V$. We characterize the global optimization geometry of the nonconvex factored problem and show that the corresponding objective function satisfies the robust strict saddle property as long as the original objective function $f$ satisfies restricted strong convexity and smoothness properties, ensuring global convergence of many local search algorithms (such as noisy gradient descent) in polynomial time for solving the factored problem. We also provide a comprehensive analysis for the optimization geometry of a matrix factorization problem where we aim to find $n imes r$ and $m imes r$ matrices $U$ and $V$ such that $UV^T$ approximates a given matrix $X^\star$. Aside from the robust strict saddle property, we show that the objective function of the matrix factorization problem has no spurious local minima and obeys the strict saddle property not only for the exact-parameterization case where $rank(X^\star) = r$, but also for the over-parameterization case where $rank(X^\star) < r$ and the under-parameterization case where $rank(X^\star) > r$. These geometric properties imply that a number of iterative optimization algorithms (such as gradient descent) converge to a global solution with random initialization.

研究动机与目标

• 通过矩阵因子分解理解秩约束矩阵问题的全局优化景观。
• 建立因子化非凸问题避免虚假局部极小值和鞍点的条件。
• 为梯度下降等迭代算法在低秩矩阵恢复中的全局收敛性提供理论保证。
• 分析超出精确参数化的优化几何结构，包括过参数化和欠参数化情形。
• 在满足受限强凸性和光滑性的通用目标函数下，统一分析矩阵因子化问题。

提出的方法

• 将低秩矩阵 $\boldsymbol{X}$ 因子分解为 $\boldsymbol{U}\boldsymbol{V}^T$，其中 $\boldsymbol{U} \in \mathbb{R}^{n \times r}$，$\boldsymbol{V} \in \mathbb{R}^{m \times r}$，从而将问题简化为在更小矩阵上进行优化。
• 利用非凸优化几何的工具分析因子化目标函数 $h(\boldsymbol{U}, \boldsymbol{V}) = f(\boldsymbol{U}\boldsymbol{V}^T)$。
• 证明：若原始目标函数 $f$ 满足受限强凸性和光滑性，则 $h$ 满足鲁棒严格鞍点性质。
• 通过扰动分析和梯度下界分析，表明所有临界点要么是全局极小值，要么是严格鞍点。
• 证明即使 $\operatorname{rank}(\boldsymbol{X}^\star) \neq r$，矩阵因子化问题也不存在虚假局部极小值，包括过参数化和欠参数化情形。
• 采用变量替换 $\boldsymbol{W} = [\boldsymbol{U}; \boldsymbol{V}]$，分析临界点邻域内 Hessian 矩阵和梯度的行为。

实验结果

研究问题

• RQ1 原始目标函数 $f$ 需满足何种条件，使得因子化问题 $h(\boldsymbol{U}, \boldsymbol{V})$ 满足鲁棒严格鞍点性质？
• RQ2 在过参数化（$\operatorname{rank}(\boldsymbol{X}^\star) < r$）和欠参数化（$\operatorname{rank}(\boldsymbol{X}^\star) > r$）情形下，矩阵因子化问题是否存在虚假局部极小值？
• RQ3 基于随机初始化的梯度方法能否在低秩矩阵优化中全局收敛至全局解？
• RQ4 当真实矩阵的秩与因子化秩不同时，因子化问题的优化景观在临界点附近如何表现？
• RQ5 何种几何性质可确保在矩阵因子化设置中所有局部极小值均为全局极小值？

主要发现

• 若原始目标函数 $f$ 满足受限强凸性和光滑性，则因子化问题满足鲁棒严格鞍点性质，从而确保噪声梯度下降在多项式时间内实现全局收敛。
• 在任意秩配置下，矩阵因子化问题均不存在虚假局部极小值：包括精确参数化（$\operatorname{rank}(\boldsymbol{X}^\star) = r$）、过参数化（$\operatorname{rank}(\boldsymbol{X}^\star) < r$）和欠参数化（$\operatorname{rank}(\boldsymbol{X}^\star) > r$）。
• 在所有参数化配置下，目标函数均满足严格鞍点性质，意味着带随机初始化的梯度下降可收敛至全局解。
• 建立了梯度范数的下界：在临界区域有 $\|\nabla G(\boldsymbol{W})\|_F \geq \frac{1}{45}\|\boldsymbol{W}\boldsymbol{W}^T\|_F^{3/2}$，证实了虚假局部极小值的不存在性。
• 分析成立的条件是 Hessian 近似中的常数 $c$ 满足 $c \leq \frac{1}{100} \frac{\sigma_r^{3/2}(\boldsymbol{X}^\star)}{\|\boldsymbol{X}^\star\|_F \|\boldsymbol{X}^\star\|^{1/2}}$，从而保证鲁棒严格鞍点性质。
• 结果可推广至一大类低秩优化问题，包括矩阵感知和矩阵补全问题，在 $f$ 的适度正则性条件下成立。