[论文解读] Nonconvex Robust Low-rank Matrix Recovery

Xiao Li, Zhihui Zhu+2 more|arXiv (Cornell University)|Sep 24, 2018

Sparse and Compressive Sensing Techniques参考文献 48被引用 6

一句话总结

本文提出一种非凸、鲁棒的低秩矩阵恢复方法，采用因子分解矩阵表示和ℓ₁-损失函数，以处理任意损坏的测量值。证明了即使近一半的测量值被损坏，只要测量算子满足ℓ₁/ℓ₂-受限等距性质，仍可实现精确恢复，并建立了在适当初始化下子梯度法具有几何递减步长时的线性收敛性。

ABSTRACT

In this paper we study the problem of recovering a low-rank matrix from a number of random linear measurements that are corrupted by outliers taking arbitrary values. We consider a nonsmooth nonconvex formulation of the problem, in which we explicitly enforce the low-rank property of the solution by using a factored representation of the matrix variable and employ an $\ell_1$-loss function to robustify the solution against outliers. We show that even when a constant fraction (which can be up to almost half) of the measurements are arbitrarily corrupted, as long as certain measurement operators arising from the measurement model satisfy the so-called $\ell_1/\ell_2$-restricted isometry property, the ground-truth matrix can be exactly recovered from any global minimum of the resulting optimization problem. Furthermore, we show that the objective function of the optimization problem is sharp and weakly convex. Consequently, a subgradient Method (SubGM) with geometrically diminishing step sizes will converge linearly to the ground-truth matrix when suitably initialized. We demonstrate the efficacy of the SubGM for the nonconvex robust low-rank matrix recovery problem with various numerical experiments.

研究动机与目标

• 解决从受异常值影响的线性测量中恢复低秩矩阵的挑战，这些异常值具有任意幅值。
• 通过使用非凸、因子分解的公式，克服核范数最小化带来的计算局限性，显式强制实现低秩结构。
• 开发一种对测量中对抗性损坏具有鲁棒性的优化框架，即使近一半的测量值被损坏也能有效应对。
• 在测量算子满足较弱条件的前提下，为非凸公式的任意全局最小值提供精确恢复的理论保证。
• 证明当初始化得当时，子梯度法结合几何递减步长可线性收敛至真实矩阵。

提出的方法

• 采用因子分解表示形式公式化鲁棒低秩矩阵恢复问题：最小化观测值与预测值之间的ℓ₁-损失，其中矩阵参数化为X = UUᵀ。
• 采用ℓ₁-损失函数以增强目标函数对测量值中任意损坏的鲁棒性，这对处理幅值无界的异常值至关重要。
• 引入一个非光滑、非凸的优化问题，通过因子分解显式强制实现低秩结构，避免使用核范数正则化。
• 理论分析表明目标函数是弱凸且具有尖锐性，从而为子梯度方法提供收敛性保证。
• 提出一种具有几何递减步长的子梯度法（SubGM），证明其在适当初始化下可线性收敛至真实矩阵。
• 采用截断谱方法作为热启动策略，实现良好初始化，从而在实际中实现快速收敛。

实验结果

研究问题

• RQ1 当近一半的测量值被任意损坏时，是否可通过具有ℓ₁-损失和因子分解的非凸公式实现低秩矩阵的精确恢复？
• RQ2 在何种测量算子条件下，所提出的非凸公式能保证从任意全局最小值实现精确恢复？
• RQ3 所提公式的目标准则函数是否具备有利的几何性质，如尖锐性和弱凸性？
• RQ4 当初始化适当时，具有几何递减步长的子梯度法是否能线性收敛至真实矩阵？
• RQ5 在高异常值比例下，所提出的SubGM与现有方法（如中值截断梯度下降）相比，在鲁棒性和收敛性方面表现如何？

主要发现

• 所提出的非凸公式结合ℓ₁-损失与因子分解矩阵表示，即使在近一半测量值被任意损坏的情况下，也能实现对真实低秩矩阵的精确恢复。
• 若测量算子满足ℓ₁/ℓ₂-受限等距性质，则可保证从优化问题的任意全局最小值实现精确恢复。
• 目标函数被证明是弱凸且具有尖锐性，从而确保了具有几何递减步长的子梯度法的线性收敛性。
• 数值实验表明，当初始化得当时，SubGM结合几何递减步长可线性收敛至真实矩阵。
• SubGM在高异常值比例下优于中值截断梯度下降（MTGD），即使50%的测量值被损坏，只要测量数量足够，仍能成功恢复矩阵。
• 相变实验表明，随着测量数量的增加，该方法能容忍更多异常值和更高的异常值比例，尤其当m ≥ 7nr时表现更优。