[论文解读] Random Sampling of Sparse Trigonometric Polynomials II - Orthogonal Matching Pursuit versus Basis Pursuit

Stefan Kunis, Holger Rauhut|ArXiv.org|Apr 19, 2006

Sparse and Compressive Sensing Techniques参考文献 35被引用 4

一句话总结

本文比较了基追踪（BP）与贪婪算法——正交匹配追踪（OMP）和阈值法——在少量随机采样下重建稀疏多变量三角多项式的表现。研究在连续和离散采样模型下建立了 OMP 和阈值法的理论成功概率，表明 OMP 在恢复率上与 BP 相当，但计算速度显著更快，因此尽管其恢复保证是非均匀的，实践中仍更优。

ABSTRACT

We investigate the problem of reconstructing sparse multivariate trigonometric polynomials from few randomly taken samples by Basis Pursuit and greedy algorithms such as Orthogonal Matching Pursuit (OMP) and Thresholding. While recovery by Basis Pursuit has recently been studied by several authors, we provide theoretical results on the success probability of reconstruction via Thresholding and OMP for both a continuous and a discrete probability model for the sampling points. We present numerical experiments, which indicate that usually Basis Pursuit is significantly slower than greedy algorithms, while the recovery rates are very similar.

研究动机与目标

• 分析正交匹配追踪（OMP）和阈值法在从随机采样中恢复稀疏三角多项式的理论成功概率。
• 从恢复成功率和计算效率两个方面，比较 OMP、阈值法和基追踪（BP）的性能。
• 研究诸如 OMP 的贪婪算法是否能实现与 BP 相当的均匀恢复保证，尽管其本身是非均匀的。
• 评估 OMP 在噪声下的稳定性及其对高频或紧密间隔分量的恢复能力。
• 评估 OMP 在实际应用中的可行性，尤其是在对速度和精度要求较高的场景中。

提出的方法

• 利用随机傅里叶矩阵的相干性参数，对 OMP 和阈值法进行理论分析，推导其成功概率上界。
• 将限制等距性质（RIP）框架适配到连续立方体 $[0,2 heta]^d$ 中的随机采样点以及离散网格上的采样。
• 通过非等距快速傅里叶变换（NFFT）和快速最小二乘求解器（LSQR）实现 OMP，以提升效率。
• 使用凸优化求解器（MOSEK、CVX、L1MAGIC）实现基追踪（BP）以作比较，并采用 FFT 和 NFFT 加速。
• 在合成信号上进行数值实验，信号维度 $D$、稀疏度 $M$ 和采样数 $N$ 变化，采用均匀与非均匀采样。
• 通过加入高斯噪声并测量系数恢复误差和支持集准确率，评估噪声鲁棒性。

实验结果

研究问题

• RQ1 OMP 和阈值法在从随机采样中重建稀疏三角多项式的理论成功概率是多少？
• RQ2 在相似采样条件和稀疏度水平下，OMP 与 BP 的恢复率如何比较？
• RQ3 OMP 能否对所有稀疏三角多项式实现均匀恢复保证，还是其成功仅限于特定信号？
• RQ4 在利用 FFT 和 NFFT 等快速变换时，OMP 的计算复杂度与 BP 相比如何？
• RQ5 OMP 在噪声下是否稳定？当采样被污染时，它能否准确恢复真实支持集和系数？

主要发现

• 即使在低过采样比 $N/M$ 下，OMP 在通用信号上的恢复成功率也与基追踪（BP）相当。
• 尽管恢复保证是非均匀的，OMP 在实践中仍优于阈值法，并在支持集恢复精度方面与 BP 保持一致。
• OMP 显著快于 BP——尤其在使用 LSQR 和 NFFT 等快速求解器时——使其更适合大规模问题。
• 数值实验表明，OMP 可以仅用 60 个随机采样点，从范围 $\{-2^{18}, \dots, 2^{18}-1\}$ 内恢复最多含 10 个频率的信号。
• OMP 在中等噪声下表现出稳定性，即使信噪比（SNR）约为 15.6 dB 时，也能正确识别真实支持集并产生较小的系数误差。
• 理论分析表明，OMP 第一步的基于相干性的成功概率非平凡，但由于随机依赖性，完整收敛性分析仍为开放问题。