[论文解读] New Null Space Results and Recovery Thresholds for Matrix Rank Minimization

Samet Oymak, Babak Hassibi|arXiv (Cornell University)|Nov 29, 2010

Sparse and Compressive Sensing Techniques参考文献 19被引用 78

一句话总结

本文通过将Stojnic的压缩感知分析方法适配至矩阵秩最小化，改进了核范数最小化（NNM）在低秩矩阵恢复中的零空间条件。其恢复阈值显著更紧——尤其表明当矩阵秩随矩阵规模线性增长时，仅需约三倍过采样即可实现弱恢复，优于以往工作，且与仿真结果高度吻合。

ABSTRACT

Nuclear norm minimization (NNM) has recently gained significant attention for its use in rank minimization problems. Similar to compressed sensing, using null space characterizations, recovery thresholds for NNM have been studied in \cite{arxiv,Recht_Xu_Hassibi}. However simulations show that the thresholds are far from optimal, especially in the low rank region. In this paper we apply the recent analysis of Stojnic for compressed sensing \cite{mihailo} to the null space conditions of NNM. The resulting thresholds are significantly better and in particular our weak threshold appears to match with simulation results. Further our curves suggest for any rank growing linearly with matrix size $n$ we need only three times of oversampling (the model complexity) for weak recovery. Similar to \cite{arxiv} we analyze the conditions for weak, sectional and strong thresholds. Additionally a separate analysis is given for special case of positive semidefinite matrices. We conclude by discussing simulation results and future research directions.

研究动机与目标

• 在现有界限之外，提升核范数最小化（NNM）在低秩矩阵恢复中的恢复阈值。
• 通过先进的零空间分析，推导出更紧的弱恢复、分段恢复和强恢复阈值。
• 将Stojnic的压缩感知框架适配至矩阵秩最小化，以获得更精确且渐近紧致的边界。
• 单独分析正定矩阵（PSD）的特殊情况，揭示其不同的恢复行为。
• 通过仿真验证理论阈值，并讨论其对最小采样需求的启示。

提出的方法

• 通过将零空间条件重新解释为奇异值，将Stojnic的压缩感知分析从压缩感知适配至矩阵秩最小化。
• 通过修改Stojnic（2009）的引理2、5和7，推导出NNM情境下的弱、分段和强恢复阈值。
• 利用Ky-Fan k-范数和奇异值分解，将零空间条件表达为适合概率分析的形式。
• 应用Gordon的高斯宽度框架，以界定零空间向量违反恢复条件的概率。
• 通过利用正定矩阵与压缩感知中非负向量的结构相似性，推导出正定矩阵的独立阈值。
• 采用渐近测度集中方法，建立在矩阵规模增大时的紧致阈值。

实验结果

研究问题

• RQ1 核范数最小化的零空间条件能否被重新分析，以获得优于以往工作的更紧恢复阈值？
• RQ2 当秩随矩阵规模线性增长时，低秩矩阵弱恢复所需的最小过采样因子是多少？
• RQ3 正定矩阵的恢复阈值与一般矩阵有何不同？其差异原因是什么？
• RQ4 理论阈值在有限维设置下与经验仿真结果的匹配程度如何？
• RQ5 所提出的方法能否扩展至非线性秩情形，如 r = O(1) 或 r = O(log n)？

主要发现

• 一般矩阵的弱恢复阈值显著改善，表明当秩为 βn（β ∈ [0,1]）时，仅需约三倍模型复杂度（即 3n）即可实现弱恢复。
• 弱恢复和强恢复的理论曲线即使在小矩阵（如 40×40）下也与仿真结果高度吻合，表明测度集中现象收敛迅速。
• 对于正定矩阵，强唯一性阈值需要约8倍过采样，而弱阈值仍维持在约3倍过采样。
• 分析表明，[4, 12] 中先前的阈值对应于当前框架的次优情形，即 δs、δsec、δw 被设为零而非被优化。
• 弱阈值被认为精确，类似于Stojnic原始压缩感知工作中所建立的紧致性。
• 结果表明，低秩恢复中的迹最小化极为高效，采样需求极低——尤其在低秩情形下——使凸松弛方法在实际应用中具有可行性。