[论文解读] Signal Recovery from Incomplete and Inaccurate Measurements via Regularized Orthogonal Matching Pursuit

Deanna Needell, Roman Vershynin|ArXiv.org|Dec 9, 2007

Sparse and Compressive Sensing Techniques参考文献 12被引用 31

一句话总结

本文提出了正则化正交匹配追踪（ROMP），一种贪婪算法，能够从不完整且含噪声的测量中可靠地恢复稀疏信号。通过结合贪婪方法的速度与凸优化的稳定性保证，ROMP 实现了与 $\sqrt{\log n}\|e\|_2$ 成比例的恢复误差，确保在噪声消失时实现精确恢复，并在受限等距条件（Restricted Isometry Condition）下对近似稀疏信号实现稳定逼近。

ABSTRACT

We demonstrate a simple greedy algorithm that can reliably recover a d-dimensional vector v from incomplete and inaccurate measurements x. Here our measurement matrix is an N by d matrix with N much smaller than d. Our algorithm, Regularized Orthogonal Matching Pursuit (ROMP), seeks to close the gap between two major approaches to sparse recovery. It combines the speed and ease of implementation of the greedy methods with the strong guarantees of the convex programming methods. For any measurement matrix that satisfies a Uniform Uncertainty Principle, ROMP recovers a signal with O(n) nonzeros from its inaccurate measurements x in at most n iterations, where each iteration amounts to solving a Least Squares Problem. The noise level of the recovery is proportional to the norm of the error, up to a log factor. In particular, if the error vanishes the reconstruction is exact. This stability result extends naturally to the very accurate recovery of approximately sparse signals.

研究动机与目标

• 弥合快速贪婪算法与稳定凸规划方法在稀疏信号恢复中的差距。
• 开发一种贪婪算法，确保从不完整且含噪声的测量中对稀疏或近似稀疏信号实现稳定且精确的恢复。
• 在超出精确稀疏性的范围内，提供关于噪声水平与信号稀疏性恢复误差的理论保证。
• 证明贪婪方法在存在噪声测量的现实条件下，可实现与凸优化相当的稳定性。

提出的方法

• ROMP 通过测量残差与感知矩阵 $\Phi$ 的列之间的最大相关性，迭代选择原子（支持索引）。
• 在每次迭代中，它在所选支持上求解最小二乘问题以更新信号估计。
• 正则化步骤确保仅保留显著分量，防止引入噪声或无关分量。
• 该算法基于相关性的幅度采用阈值规则，每轮迭代选择多个索引，从而提高收敛速度。
• 它利用受限等距条件（RIC）参数 $(8n, \varepsilon)$，其中 $\varepsilon = 0.01/\sqrt{\log n}$，以确保稳定恢复。
• 该方法包含一个截断步骤，将其截断至最佳 $2n$-稀疏逼近，从而改善误差界与稳定性。

实验结果

研究问题

• RQ1 贪婪算法是否能在噪声和不完整测量条件下，实现与凸优化相同的稳定性保证？
• RQ2 当测量受噪声污染时，贪婪算法的理论恢复误差界是什么？
• RQ3 在噪声放大与稀疏性恢复方面，ROMP 与凸规划相比表现如何？
• RQ4 当测量误差向量 $e$ 消失时，贪婪方法如 ROMP 是否能确保精确恢复？
• RQ5 误差界中的对数因子 $\sqrt{\log n}$ 是否真实反映了行为特征，还是可进一步改进？

主要发现

• ROMP 在最多 $n$ 次迭代内从 $N \ll d$ 个测量中恢复一个 $n$-稀疏信号，每次迭代包含一次最小二乘求解。
• 重构误差被限制在 $C\sqrt{\log 2n}\left(\|e\|_2 + \frac{\|v - v_n\|_1}{\sqrt{n}}\right)$ 以内，确保在噪声下的稳定性。
• 当误差向量 $e$ 消失时，ROMP 实现精确恢复，证实其与无噪声情况的一致性。
• 数值实验验证了理论误差界，并表明 $\sqrt{\log n}$ 因子在实际中可能可进一步优化。
• 对于满足参数为 $(8n, 0.01/\sqrt{\log n})$ 的受限等距条件的测量矩阵，ROMP 能够实现对近似稀疏信号的稳定恢复。
• 该算法在稳定性方面优于标准 OMP，在误差界方面与凸规划相当，同时实现速度显著更快。