[论文解读] Orthogonal Matching Pursuit with Thresholding and its Application in Compressive Sensing

Mingrui Yang, Frank de Hoog|arXiv (Cornell University)|Jul 8, 2013

Sparse and Compressive Sensing Techniques被引用 3

一句话总结

该论文提出正交匹配追踪阈值化算法（OMPT），一种在压缩感知中计算成本更低的稀疏信号恢复算法，其用阈值策略替代了计算成本较高的贪心选择步骤。通过使用全局2-相干性和限制等距性质（RIP），OMPT在相同相干性和RIP假设下实现了与标准OMP完全相同的重建性能，但计算复杂度显著降低。

ABSTRACT

Greed is good. However, the tighter you squeeze, the less you have. In this paper, a less greedy algorithm for sparse signal reconstruction in compressive sensing, named orthogonal matching pursuit with thresholding is studied. Using the global 2-coherence , which provides a "bridge" between the well known mutual coherence and the restricted isometry constant, the performance of orthogonal matching pursuit with thresholding is analyzed and more general results for sparse signal reconstruction are obtained. It is also shown that given the same assumption on the coherence index and the restricted isometry constant as required for orthogonal matching pursuit, the thresholding variation gives exactly the same reconstruction performance with significantly less complexity.

研究动机与目标

• 开发一种比正交匹配追踪（OMP）更少贪心的替代算法，以降低稀疏信号恢复中的计算成本。
• 利用全局2-相干性度量分析所提出的基于阈值的算法性能，该度量连接了互相关性与限制等距常数。
• 证明OMPT在相同相干性和RIP假设下可实现与OMP相同的重建精度。
• 为噪声和无噪声场景建立恢复误差与收敛性的理论界。
• 证明OMPT在k次迭代内可精确恢复k-稀疏信号的支撑集，且计算复杂度远低于OMP。

提出的方法

• OMPT用基于残差范数的阈值规则替代OMP的贪心选择步骤——即选择与残差内积最大的原子。
• 在每次迭代中，算法仅计算一次残差范数，并将阈值设为该范数的某一比例，仅选择与残差内积超过该阈值的原子。
• 算法对所选原子张成的子空间执行正交投影，以更新信号逼近，确保不会重复选择同一原子。
• 使用全局2-相干性作为理论工具，关联互相关性与限制等距常数，从而实现更紧密的性能分析。
• 理论分析利用Moore-Penrose广义逆来界定噪声存在下的重建误差，基于子字典的最小奇异值。
• 通过推导残差范数的几何衰减界分析收敛性，表明当阈值t选择得当时，残差每轮减少为$\sqrt{1 - t^2}$倍。

实验结果

研究问题

• RQ1 基于阈值的OMP变体能否在降低计算成本的同时，实现与标准OMP相同的稀疏信号恢复性能？
• RQ2 全局2-相干性如何改善压缩感知中贪心算法的理论分析？
• RQ3 阈值参数选择对OMPT在噪声和无噪声场景下收敛性与准确率的影响如何？
• RQ4 在何种条件下，OMPT可在k次迭代内精确恢复k-稀疏信号的支撑集？
• RQ5 能否利用限制等距性质与子字典的最小奇异值，对OMPT的重建误差进行有界控制？

主要发现

• 在互相关性与限制等距常数（RIC）假设相同的情况下，OMPT的重建性能与OMP完全一致，如定理III.1与定理III.5所证明。
• OMPT成功恢复所需的RIC界与目前已知OMP的最佳界完全相同，如推论III.2所示。
• 在无噪声情况下，只要阈值参数被最优选择，OMPT可在恰好k次迭代内恢复k-稀疏信号的精确支撑集。
• 在有噪声情况下，重建误差被界定为$\|\hat{a}_{\text{ompt}} - a\|_2 \leq \epsilon / \sigma_{\text{min}}$，其中$\sigma_{\text{min}}$为子字典的最小奇异值。
• 残差范数按几何方式衰减，满足$\|r_k\| \leq (1 - t^2)^{k/2} \|f\|$，在停止准则$\|r_m\| \leq t\|f\|$下，收敛可在$m \leq \frac{2\ln t}{\ln(1 - t^2)}$轮内完成。
• OMPT通过避免在每次迭代中完整计算所有内积，仅依赖一次残差范数与阈值比较，显著降低了计算复杂度。