[论文解读] Tuning Free Orthogonal Matching Pursuit

Sreejith Kallummil, Sheetal Kalyani|arXiv (Cornell University)|Mar 15, 2017

Sparse and Compressive Sensing Techniques参考文献 40被引用 3

一句话总结

本文提出TF-OMP，一种无需调参的正交匹配追踪算法，在无需事先知晓稀疏度水平 $k_0$ 或噪声方差 $σ^2$ 的情况下，实现了具有竞争力的稀疏信号恢复。通过利用残差衰减动态调整停止准则，TF-OMP在标准限制等距性（RIC）和相干性条件下均表现出稳健性能，在仿真中达到与已知 $k_0$ 的OMP相当的性能，同时消除了对调参的依赖。

ABSTRACT

Orthogonal matching pursuit (OMP) is a widely used compressive sensing (CS) algorithm for recovering sparse signals in noisy linear regression models. The performance of OMP depends on its stopping criteria (SC). SC for OMP discussed in literature typically assumes knowledge of either the sparsity of the signal to be estimated $k_0$ or noise variance $σ^2$, both of which are unavailable in many practical applications. In this article we develop a modified version of OMP called tuning free OMP or TF-OMP which does not require a SC. TF-OMP is proved to accomplish successful sparse recovery under the usual assumptions on restricted isometry constants (RIC) and mutual coherence of design matrix. TF-OMP is numerically shown to deliver a highly competitive performance in comparison with OMP having extit{a priori} knowledge of $k_0$ or $σ^2$. Greedy algorithm for robust de-noising (GARD) is an OMP like algorithm proposed for efficient estimation in classical overdetermined linear regression models corrupted by sparse outliers. However, GARD requires the knowledge of inlier noise variance which is difficult to estimate. We also produce a tuning free algorithm (TF-GARD) for efficient estimation in the presence of sparse outliers by extending the operating principle of TF-OMP to GARD. TF-GARD is numerically shown to achieve a performance comparable to that of the existing implementation of GARD.

研究动机与目标

• 解决压缩感知中OMP因需要事先知晓稀疏度水平 $k_0$ 或噪声方差 $\sigma^2$ 而导致的性能瓶颈问题。
• 开发一种无需调参的算法，在不依赖最优参数或计算成本高昂的交叉验证方法的前提下，保持高恢复精度。
• 将无调参原则扩展至鲁棒回归，提出TF-GARD，以实现对稀疏异常值的高效估计。
• 在标准RIC和相干性假设下，为稀疏恢复提供理论保证，且无需调参。

提出的方法

• 提出TF-OMP，一种改进的OMP算法，采用基于残差衰减的数据驱动停止准则，从而消除对 $k_0$ 或 $\sigma^2$ 的依赖。
• 采用基于残差的阈值规则，自适应调整信噪比和噪声水平，而无需显式估计 $\sigma^2$。
• 理论分析证明，在设计矩阵的限制等距常数（RIC）和互相关性标准假设下，可实现成功的稀疏恢复。
• 将TF-OMP的无调参原则推广至GARD，提出TF-GARD，一种用于稀疏异常值抑制的无调参鲁棒回归算法。
• 在TF-GARD中采用动态停止规则，避免了对内点噪声方差 $σ^2$ 的依赖，而标准GARD则需要该参数。
• 通过在不同信噪比（SNR）、异常值信噪比（SIR）和异常值数量下进行仿真研究，验证了其相对于最优参数和现有方法的性能。

实验结果

研究问题

• RQ1 OMP是否能在不依赖 $k_0$ 或 $\sigma^2$ 知识的情况下实现近乎最优的稀疏恢复性能？
• RQ2 是否存在一种理论合理、基于数据的OMP停止准则，可避免调参？
• RQ3 TF-OMP的无调参原则是否可推广至GARD等鲁棒回归算法，以实现对稀疏异常值的有效抑制？
• RQ4 在不同信噪比和噪声环境下，TF-OMP的性能与已知 $k_0$ 或 $\sigma^2$ 的OMP相比如何？
• RQ5 在异常值污染程度逐渐增加的情况下，TF-GARD相较于GARD和M-估计器的鲁棒性与崩溃点如何？

主要发现

• 在低信噪比（SNR）环境下，TF-OMP的性能与已知 $k_0$ 的OMP相当，显著优于固定 $k_0$ 的标准OMP。
• 在所有SNR水平下，TF-OMP的性能与基于 $k_0$ 的停止准则的OMP保持一致，表明其在无需调参的情况下具有强鲁棒性。
• TF-GARD在高信噪比和高异常值数量下，性能几乎与已知 $σ^2$ 的GARD完全一致，尽管其完全不依赖噪声统计信息。
• 在高异常值环境下，TF-GARD优于M-估计器，表现出更高的崩溃点和在污染条件下的更优均方误差（MSE）性能。
• TF-OMP中基于残差衰减的停止规则在标准RIC和相干性假设下确保了成功恢复，提供了无需调参的理论保证。
• 在基于CDR的MIMO检测中，CDR+TF-OMP显著优于CDR，且性能接近CDR+OMP($k_0$)，验证了其在未知 $σ^2$ 的实际系统中的实用性。