[论文解读] Orthogonal Matching Pursuit with Replacement

Prateek Jain, Ambuj Tewari+1 more|arXiv (Cornell University)|Jun 14, 2011

Sparse and Compressive Sensing Techniques参考文献 27被引用 51

一句话总结

本文提出正交匹配追踪替换算法（OMPR），一种新型的迭代稀疏恢复算法，通过在每一步中允许同时添加和移除支持元素，增强了经典正交匹配追踪（OMP）算法。OMPR在所有贪婪算法中实现了目前已知最紧的限制等距性质（RIP）保证，并通过结合局部敏感哈希（LSH）的OMPR-Hash方法，首次实现了稀疏恢复的可证明亚线性时间复杂度（在维度上），在大规模问题上表现出更快的速度和更强的鲁棒性。

ABSTRACT

In this paper, we consider the problem of compressed sensing where the goal is to recover almost all the sparse vectors using a small number of fixed linear measurements. For this problem, we propose a novel partial hard-thresholding operator that leads to a general family of iterative algorithms. While one extreme of the family yields well known hard thresholding algorithms like ITI (Iterative Thresholding with Inversion) and HTP (Hard Thresholding Pursuit), the other end of the spectrum leads to a novel algorithm that we call Orthogonal Matching Pursuit with Replacement (OMPR). OMPR, like the classic greedy algorithm OMP, adds exactly one coordinate to the support at each iteration, based on the correlation with the current residual. However, unlike OMP, OMPR also removes one coordinate from the support. This simple change allows us to prove that OMPR has the best known guarantees for sparse recovery in terms of the Restricted Isometry Property (a condition on the measurement matrix). In contrast, OMP is known to have very weak performance guarantees under RIP. Given its simple structure, we are able to extend OMPR using locality sensitive hashing to get OMPR-Hash, the first provably sub-linear (in dimensionality) algorithm for sparse recovery. Our proof techniques are novel and flexible enough to also permit the tightest known analysis of popular iterative algorithms such as CoSaMP and Subspace Pursuit. We provide experimental results on large problems providing recovery for vectors of size up to million dimensions. We demonstrate that for large-scale problems our proposed methods are more robust and faster than existing methods.

研究动机与目标

• 为解决经典正交匹配追踪（OMP）在标准RIP条件下缺乏强理论保证的问题。
• 开发一种新型迭代稀疏恢复算法，兼具OMP的简洁性与更强的理论收敛保证。
• 通过局部敏感哈希（LSH）实现高维场景下的亚线性时间稀疏恢复，提升大规模问题的实际效率。
• 提供一个统一的理论框架，对CoSaMP、SP、IHT和HTP等现有算法进行紧密分析。
• 在大规模问题（高达100万维）上对OMPR和OMPR-Hash进行实验验证，证明其在鲁棒性和速度方面均表现更优。

提出的方法

• 通过一种新颖的部分硬阈值算子，提出一个通用的迭代算法族，该算子在ITI和HTP等方法的一端与OMPR的另一端之间实现插值。
• 提出OMPR作为新型贪婪算法，与OMP不同，其在每次迭代中同时移除一个支持元素并添加一个，从而实现更优的收敛特性。
• 通过证明OMPR在满足 $\delta_{2k} < 1/3$ 的RIP条件下可精确恢复所有 $k$-稀疏信号，建立理论保证，该条件是目前所有贪婪算法中已知最紧的。
• 通过将OMPR与局部敏感哈希（LSH）结合，开发OMPR-Hash，实现在高维空间中的亚线性时间恢复。
• 在OMPR中采用固定步长 $\eta = 1$，确保收敛至至少一个局部最小值，而无需像其他方法那样依赖更小的步长以保证稳定性。
• 采用两阶段支持更新策略：首先通过残差相关性扩展支持集，然后通过硬阈值化收缩支持集，类似于CoSaMP和SP，但理论边界更优。

实验结果

研究问题

• RQ1 能否设计一种贪婪稀疏恢复算法，在保持OMP简洁性的同时，实现受限等距性质（RIP）下更强的理论保证？
• RQ2 在何种最紧的已知RIP条件下，贪婪算法可被证明精确恢复所有 $k$-稀疏信号？
• RQ3 能否将贪婪算法适配为利用局部敏感哈希（LSH）实现在高维稀疏恢复中的亚线性时间复杂度？
• RQ4 在大规模问题上，所提出的OMPR算法在性能和鲁棒性方面与现有最先进方法（如IHT、CoSaMP和SP）相比如何？
• RQ5 能否将OMPR的理论分析扩展至为CoSaMP和子空间追踪等知名迭代算法提供更紧的边界？

主要发现

• OMPR在所有贪婪算法中实现了目前已知最紧的RIP保证，要求 $\delta_{2k} < 1/3$ 才能精确恢复所有 $k$-稀疏信号。
• OMPR-Hash作为基于LSH的变体，实现了维度上的亚线性时间复杂度，是首个在稀疏恢复中实现可证明亚线性时间复杂度的算法。
• 在大规模问题（高达 $n = 10^6$）上，OMPR和OMPR-Hash在恢复精度和计算速度方面均优于IHT-Newton、CoSaMP和SP。
• 在噪声环境下，OMPR的恢复误差始终低于现有方法，表现出更强的鲁棒性，尤其在高噪声水平下优势明显。
• OMPR-Hash的速度约为OMPR的十倍，且接近IHT-Newton的两倍，同时保持相近的误差水平。
• 统计比较显示，在36个实验单元中的30个，OMPR显著优于IHT-Newton（95%置信水平），且无任何情况下表现更差。