[论文解读] Weighted algorithms for compressed sensing and matrix completion

Stéphane Gaïffas, Guillaume Lecué|arXiv (Cornell University)|Jul 8, 2011

Sparse and Compressive Sensing Techniques参考文献 43被引用 35

一句话总结

本文提出了用于压缩感知的加权基追踪算法以及用于矩阵补全的新型定点重加权方法，理论上和实证上均表明加权最小化相较于标准基追踪和核范数最小化能显著提升精确恢复效果，尤其在具备先验支持或秩信息时表现更优。

ABSTRACT

This paper is about iteratively reweighted basis-pursuit algorithms for compressed sensing and matrix completion problems. In a first part, we give a theoretical explanation of the fact that reweighted basis pursuit can improve a lot upon basis pursuit for exact recovery in compressed sensing. We exhibit a condition that links the accuracy of the weights to the RIP and incoherency constants, which ensures exact recovery. In a second part, we introduce a new algorithm for matrix completion, based on the idea of iterative reweighting. Since a weighted nuclear "norm" is typically non-convex, it cannot be used easily as an objective function. So, we define a new estimator based on a fixed-point equation. We give empirical evidences of the fact that this new algorithm leads to strong improvements over nuclear norm minimization on simulated and real matrix completion problems.

研究动机与目标

• 为加权基追踪在压缩感知中经验成功的理论机制提供解释，特别是其相较于标准基追踪在精确恢复方面的改进。
• 将迭代重加权的思想从压缩感知推广至矩阵补全问题，其中加权核范数是非凸的，因此不能直接用作目标函数。
• 提出一种基于加权奇异值软阈值化运算的固定点方程的新估计器，用于矩阵补全。
• 建立加权基追踪实现精确恢复的条件，将权重准确性与限制等距性常数及非相干性常数联系起来。
• 在模拟和真实世界数据上实证验证所提出的矩阵补全算法，表明其在恢复精度上显著优于核范数最小化。

提出的方法

• 提出一种加权基追踪算法，通过最小化加权 ℓ₁-范数 ∑|tᵢ|/wᵢ 约束于 At = y，其中权重 wᵢ 用于反映对信号稀疏性的先验知识。
• 引入一种用于矩阵补全的定点迭代方案：A^{k+1} = (1/(1+τ)) S_w^λ( P_Ω(A₀) + P_Ω^⊥(A^k) )，其中 S_w^λ 为奇异值上的加权软阈值算子。
• 通过软阈值算子 S_w^λ(·) 定义一种非凸加权核范数，该算子对奇异值施加独立权重，实现自适应收缩。
• 利用冯·诺依曼迹不等式和奇异值分解分析定点迭代的收敛性与稳定性。
• 在较弱条件下证明迭代方案收敛至唯一不动点，从而证明解的存在性与唯一性。
• 在合成与真实矩阵补全任务上对算法进行实证评估，与标准核范数最小化方法进行性能对比。

实验结果

研究问题

• RQ1 在何种条件下，加权基追踪可在压缩感知中实现精确恢复？权重与限制等距性（RIP）常数及非相干性常数之间有何关系？
• RQ2 能否成功将迭代重加权的思想适配至矩阵补全问题，尽管加权核范数是非凸的？
• RQ3 所提出的用于矩阵补全的定点重加权算法是否在恢复精度上优于标准核范数最小化？
• RQ4 加权算法的性能对权重选择的敏感性如何？其收敛性与唯一性有何理论保证？
• RQ5 在低秩矩阵恢复中，加权最小化相较于标准凸松弛方法具有哪些理论与实证优势？

主要发现

• 本文建立了权重准确性与RIP及非相干性常数之间的理论联系，证明当权重足够准确时，加权基追踪可确保压缩感知中的精确恢复。
• 所提出的矩阵补全定点重加权算法收敛至唯一解，收敛速率受 (1+τ)^{-k} 限制（τ > 0）。
• 实证结果表明，在模拟与真实世界矩阵补全任务中，该方法显著优于核范数最小化，尤其当真实矩阵具有结构化低秩结构时。
• 尽管加权核范数是非凸的，但可通过一种保持稳定性和收敛性的迭代定点方案实现有效优化。
• 当先验信息（如奇异值分布）可被准确编码至权重中时，该算法在恢复低秩矩阵方面优于标准核范数最小化。
• 理论分析证实，定点迭代具有压缩性，确保全局收敛至唯一不动点，该不动点被定义为重加权矩阵补全问题的解。