[论文解读] Sparse Signals Recovery from Noisy Measurements by Orthogonal Matching Pursuit

Yi Shen, Song Li|arXiv (Cornell University)|May 31, 2011

Sparse and Compressive Sensing Techniques参考文献 15被引用 7

一句话总结

本文建立了基于限制等距性质（RIP）的充分条件，证明正交匹配追踪（OMP）可从含噪测量中精确恢复稀疏信号的支撑集。研究证明，在RIP约束下满足 $\delta_{K+1} < \frac{1}{\sqrt{K}+3}$ 时，若噪声在 $l_2$ 或 $l_\infty$ 范数下有界，且信号系数超过推导出的阈值，则OMP可成功恢复真实支撑集。

ABSTRACT

Recently, many practical algorithms have been proposed to recover the sparse signal from fewer measurements. Orthogonal matching pursuit (OMP) is one of the most effective algorithm. In this paper, we use the restricted isometry property to analysis the algorithm. We show that, under certain conditions based on the restricted isometry property and the signals, OMP will recover the support of the sparse signal when measurements are corrupted by additive noise.

研究动机与目标

• 建立在受限等距性质（RIP）下，正交匹配追踪（OMP）从含加性噪声的稀疏信号中恢复支撑集的充分条件。
• 分析OMP在测量值受噪声扰动的压缩感知场景中的性能，扩展先前在无噪条件下的恢复保证。
• 推导在不同噪声模型（$l_2$ 和 $l_\infty$）下，成功恢复支撑集所需的非零信号系数的显式下限。
• 通过收紧所需等距常数阈值，改进现有基于RIP的OMP恢复保证。
• 在假设噪声为零均值白高斯噪声且方差已知的前提下，提供概率恢复保证。

提出的方法

• 以测量矩阵 $A$ 的等距常数 $\delta_{K+1}$ 作为主要结构假设，使用受限等距性质（RIP）。
• 通过递归分析残差与测量矩阵列向量之间的相关性，确保OMP每一步迭代中正确选择支撑集。
• 采用 $l_2$-范数和 $l_\infty$-范数的停止规则，利用噪声能量的上界 $B_2$ 和 $B_\infty$ 控制算法终止。
• 推导出一个关键不等式（3.2），确保残差与未选列的最大相关性超过已选列的相关性，从而保证正确识别支撑集。
• 利用噪声引起的误差项 $E(\mathbf{z}_k)$ 的估计，通过 $\|\mathbf{z}\|_2 \leq B_2$ 或 $\|A^*\mathbf{z}\|_\infty < B_\infty$ 来限制噪声对相关性选择的影响。
• 使用已选列子矩阵 $A_{\Omega_k}^\dagger$ 的伪逆，将残差投影到已选子空间的正交补空间中，确保残差更新的准确性。

实验结果

研究问题

• RQ1 在何种基于RIP的条件下，OMP可从含噪测量中精确恢复 $K$-稀疏信号的支撑集？
• RQ2 非零信号系数的幅值如何影响OMP在含噪环境中的恢复成功率？
• RQ3 仍能保证OMP精确恢复支撑集的受限等距常数 $\delta_{K+1}$ 的最紧上界是什么？
• RQ4 不同的噪声模型（$l_2$ 和 $l_\infty$）如何影响成功恢复OMP所需的信噪比？
• RQ5 当噪声为高斯分布时，是否可在相同RIP假设下为OMP恢复推导出概率保证？

主要发现

• 对于 $l_2$-有界噪声且 $\|\mathbf{z}\|_2 \leq B_2$ 的情况，若 $\delta_{K+1} < \frac{1}{\sqrt{K}+3}$ 且所有非零系数满足 $|x_i| > \frac{2(1-\delta_{K+1})B_2}{(1-\delta_{K+1})^2 - \delta_{K+1}(1+\sqrt{K})}$，则OMP可恢复真实支撑集。
• 对于 $l_\infty$-有界噪声且 $\|A^*\mathbf{z}\|_\infty < B_\infty$ 的情况，若 $\delta_{K+1} < \frac{1}{\sqrt{K}+3}$ 且 $|x_i| > \frac{2(1-\delta_{K+1})B_\infty}{(1-\delta_{K+1})^2 - \delta_{K+1}(1+\sqrt{K})}\left(1 + \frac{\sqrt{K}}{\sqrt{1-\delta_{K+1}}}\right)$，则OMP可恢复支撑集。
• 推导出的RIP阈值 $\delta_{K+1} < \frac{1}{\sqrt{K}+3}$ 几乎是最优的，因为论文构造了一个满足 $\delta_{K+1} = \frac{1}{\sqrt{K}}$ 的矩阵，此时OMP失败，表明该界仅相差一个常数因子。
• 当噪声为零均值白高斯噪声，协方差为 $\sigma^2 I$ 时，若 $\delta_{K+1} < \frac{1}{\sqrt{K}+3}$ 且 $|x_i| > \frac{2(1-\delta_{K+1})\sigma\sqrt{m+2\sqrt{m\log m}}}{(1-\delta_{K+1})^2 - \delta_{K+1}(1+\sqrt{K})}$，则OMP以至少 $1 - 1/m$ 的概率恢复支撑集。
• 分析表明，在所推导条件下，OMP不会过早终止，因为残差范数或相关性在所有真实支撑索引被选中前均保持在停止阈值以上。
• 结果改进了先前在含噪环境下基于RIP的OMP恢复保证，收紧了所需的等距常数，并为恢复提供了显式的信号幅值阈值。