[论文解读] Non-square matrix sensing without spurious local minima via the Burer-Monteiro approach

Dohyung Park, Anastasios Kyrillidis+2 more|arXiv (Cornell University)|Sep 11, 2016

Matrix Theory and Algorithms被引用 37

一句话总结

该论文证明，在受限等距性（RIP）条件下，当 $\delta_{4r} \leq \frac{1}{100}$ 时，通过 Burer-Monteiro 分解 $UV^\top$ 进行非方阵感知的非凸优化问题不存在虚假局部极小值，从而确保基于梯度的方法能够全局收敛。该研究将先前针对方阵、半正定矩阵的结果推广至更一般的非方阵情形，采用正则化优化框架并结合严格鞍点性质分析。

ABSTRACT

We consider the non-square matrix sensing problem, under restricted isometry property (RIP) assumptions. We focus on the non-convex formulation, where any rank-$r$ matrix $X \\in \\mathbb{R}^{m \ imes n}$ is represented as $UV^\ op$, where $U \\in \\mathbb{R}^{m \ imes r}$ and $V \\in \\mathbb{R}^{n \ imes r}$. In this paper, we complement recent findings on the non-convex geometry of the analogous PSD setting [5], and show that matrix factorization does not introduce any spurious local minima, under RIP.

研究动机与目标

• 解决非凸 Burer-Monteiro 分解 $UV^\top$ 在非方阵矩阵感知中是否引入虚假局部极小值的问题。
• 将非方阵、低秩矩阵情形下无虚假极小值的结果，从原有的方阵、半正定矩阵情形推广至更一般的情形。
• 证明在非方阵设置下，梯度下降法可在严格鞍点性质下实现全局收敛。
• 对在受限等距性（RIP）条件下的非方阵矩阵感知问题，提供优化景观的严谨几何分析。
• 引入并分析一种正则化目标函数，以确保全局收敛所需的有利曲率性质。

提出的方法

• 将非方阵矩阵感知问题重新表述为在因子 $U \in \mathbb{R}^{m \times r}$ 和 $V \in \mathbb{R}^{n \times r}$ 上的非凸、双线性优化问题。
• 引入正则化目标函数 $f(UV^\top) + g(U,V)$，以确保因子空间中具有有利的几何结构。
• 利用受限等距性（RIP）条件，其中 $\delta_{4r} \leq \frac{1}{100}$，以控制曲率和 Hessian 矩阵的行为。
• 分析正则化目标函数的 Hessian 矩阵，证明其满足严格鞍点性质：所有非全局驻点均具有负曲率。
• 通过构造特定的下降方向 $Z = W - W^\star R$，对 Hessian 矩阵的最小特征值进行下界估计。
• 利用矩阵扰动理论与 Frobenius 范数不等式，推导出 Hessian 最小特征值的定量下界。

实验结果

研究问题

• RQ1 在受限等距性（RIP）条件下，Burer-Monteiro 分解 $UV^\top$ 是否会在非方阵矩阵感知中引入虚假局部极小值？
• RQ2 能否在非方阵、低秩矩阵感知问题中建立严格鞍点性质？
• RQ3 在非最优驻点处，Hessian 矩阵的最小特征值是多少？其与秩-$r$ 矩阵最小奇异值有何关系？
• RQ4 正则化目标函数如何确保在非方阵情形下所有局部极小值均为全局极小值？
• RQ5 在推导出的曲率条件下，梯度下降能否成功逃离鞍点并实现全局收敛？

主要发现

• 在受限等距性（RIP）条件下，当 $\delta_{4r} \leq \frac{1}{100}$ 时，非方阵矩阵感知的非凸 Burer-Monteiro 公式不存在虚假局部极小值。
• 所有非全局驻点均满足 $\lambda_{\min}(\nabla^2(f+g)) \leq -\frac{1}{7} \cdot \sigma_r(X^\star)$，从而确认了严格鞍点性质。
• 在任意驻点 $W$ 处，若 $UV^\top \neq X^\star$，其 Hessian 矩阵的负曲率在绝对值上均有下界 $\frac{1}{7} \cdot \sigma_r(X^\star)$。
• 由于严格鞍点性质，采用小步长的梯度下降法几乎必然收敛至全局最小值。
• 该结果将先前关于方阵、半正定矩阵的研究成果推广至更具现实意义的非方阵情形。
• 该分析依赖于一种新颖的正则化目标函数，并通过 RIP 条件与矩阵扰动理论，对 Hessian 二次型进行了精细的上界估计。