[论文解读] Rank Overspecified Robust Matrix Recovery: Subgradient Method and Exact Recovery

Lijun Ding, Liwei Jiang+3 more|arXiv (Cornell University)|Sep 23, 2021

Sparse and Compressive Sensing Techniques被引用 4

一句话总结

该论文提出了一种带递减步长的次梯度方法，用于从严重损坏的高斯测量中恢复低秩矩阵，即使在秩被高估的情况下也能实现精确恢复。在受限方向保持性质（RDPP）下，该方法以次线性速率实现精确恢复，并在因子秩与真实秩匹配后自动加速至线性收敛，数值实验验证了其有效性，并表明该方法在过参数化设置下可防止过拟合。

ABSTRACT

We study the robust recovery of a low-rank matrix from sparsely and grossly corrupted Gaussian measurements, with no prior knowledge on the intrinsic rank. We consider the robust matrix factorization approach. We employ a robust $\\ell_1$ loss function and deal with the challenge of the unknown rank by using an overspecified factored representation of the matrix variable. We then solve the associated nonconvex nonsmooth problem using a subgradient method with diminishing stepsizes. We show that under a regularity condition on the sensing matrices and corruption, which we call restricted direction preserving property (RDPP), even with rank overspecified, the subgradient method converges to the exact low-rank solution at a sublinear rate. Moreover, our result is more general in the sense that it automatically speeds up to a linear rate once the factor rank matches the unknown rank. On the other hand, we show that the RDPP condition holds under generic settings, such as Gaussian measurements under independent or adversarial sparse corruptions, where the result could be of independent interest. Both the exact recovery and the convergence rate of the proposed subgradient method are numerically verified in the overspecified regime. Moreover, our experiment further shows that our particular design of diminishing stepsize effectively prevents overfitting for robust recovery under overparameterized models, such as robust matrix sensing and learning robust deep image prior. This regularization effect is worth further investigation.

研究动机与目标

• 解决真实秩未知时的鲁棒低秩矩阵恢复挑战。
• 开发一种非凸、非光滑的优化方法，通过带递减步长的 $ε$-次梯度方法处理稀疏、严重损坏的污染。
• 在因子分解维数 $k$ 超过真实秩 $r$ 的秩高估情形下，建立精确恢复的保证。
• 提供理论收敛速率，表明当因子秩与真实秩匹配后，收敛速率从次线性加速至线性。
• 展示递减步长调度在防止过参数化模型（如鲁棒矩阵感知和深度图像先验）中过拟合的正则化效应。

提出的方法

• 使用因子化、非凸、非光滑的目标函数，并采用 $ε$-次梯度方法求解。
• 采用鲁棒的 $\ell_1$ 损失函数以处理测量中的稀疏污染。
• 使用高估的因子分解 $X = FF^T$，其中 $F \in \mathbb{R}^{d \times k}$ 且 $k > r$，以避免对真实秩 $r$ 的先验知识。
• 应用带递减步长的次梯度方法求解非凸、非光滑优化问题。
• 引入谱初始化以提升收敛性和稳定性。
• 在受限方向保持性质（RDPP）下建立收敛性，该性质在高斯测量和稀疏污染下普遍成立。

实验结果

研究问题

• RQ1 在因子秩 $k > r$ 的秩高估情形下，是否能通过非凸、非光滑优化方法实现对真实低秩矩阵的精确恢复？
• RQ2 在 RDPP 条件下，带递减步长的次梯度方法是否收敛至真实低秩矩阵？
• RQ3 该次梯度方法的收敛速率如何？当因子秩 $k$ 匹配真实秩 $r$ 时，收敛速率是否会加速？
• RQ4 递减步长调度如何在过参数化模型（如鲁棒矩阵感知和深度图像先验）中防止过拟合？
• RQ5 RDPP 条件在何种条件下成立？在高斯测量与稀疏污染的实际设置中是否满足该条件？

主要发现

• 当测量数 $m = \tilde{\mathcal{O}}(dk^3)$ 时，即使在秩高估情形下，也能以高概率实现对真实低秩矩阵 $X_{\natural}$ 的精确恢复。
• 在 RDPP 条件下，当 $k > r$ 时，次梯度方法以次线性速率 $\mathcal{O}(1/t)$ 收敛至真实解。
• 当因子秩 $k$ 匹配真实秩 $r$ 后，由于曲率性质的改善，收敛速率加速至线性。
• RDPP 条件在高斯测量矩阵和稀疏污染下普遍成立，包括独立污染和对抗性污染模型。
• 递减步长调度在防止过参数化模型（如鲁棒矩阵感知和深度图像先验）中过拟合方面表现有效，展现出显著的正则化效应。