[论文解读] The performance of orthogonal multi-matching pursuit under RIP

Zhiqiang Xu|arXiv (Cornell University)|Oct 19, 2012

Sparse and Compressive Sensing Techniques参考文献 17被引用 16

一句话总结

该论文证明，当测量矩阵满足 $(9s, 1/10)$-RIP 时，固定参数 $M_0 \leq 8$ 的正交多匹配追踪（OMMP）可在 $s$ 次迭代内精确恢复任意 $s$-稀疏信号。对于衰减缓慢的信号，当 $M = s^a$（$a \in [0, 1/2]$）时，OMMP 可在 $O(s^{1-a})$ 次迭代内完成恢复，相比 OMP 显著降低了计算复杂度。

ABSTRACT

The orthogonal multi-matching pursuit (OMMP) is a natural extension of orthogonal matching pursuit (OMP). We denote the OMMP with the parameter $M$ as OMMP(M) where $M\geq 1$ is an integer. The main difference between OMP and OMMP(M) is that OMMP(M) selects $M$ atoms per iteration, while OMP only adds one atom to the optimal atom set. In this paper, we study the performance of orthogonal multi-matching pursuit (OMMP) under RIP. In particular, we show that, when the measurement matrix A satisfies $(9s, 1/10)$-RIP, there exists an absolutely constant $M_0\leq 8$ so that OMMP(M_0) can recover $s$-sparse signal within $s$ iterations. We furthermore prove that, for slowly-decaying $s$-sparse signal, OMMP(M) can recover s-sparse signal within $O(\frac{s}{M})$ iterations for a large class of $M$. In particular, for $M=s^a$ with $a\in [0,1/2]$, OMMP(M) can recover slowly-decaying $s$-sparse signal within $O(s^{1-a})$ iterations. The result implies that OMMP can reduce the computational complexity heavily.

研究动机与目标

• 确定是否存在一个固定的 $M_0$，使得在有界 RIP 常数条件下，OMMP($M_0$) 能在恰好 $s$ 次迭代内恢复所有 $s$-稀疏信号。
• 分析在缓慢衰减的 $s$-稀疏信号下，OMMP 中迭代次数与选择参数 $M$ 之间的权衡。
• 在更自然的 RIP 条件下（即 RIP 参数为绝对常数而非随 $s$ 变化的量）建立 OMMP 的理论保证。

提出的方法

• 通过使用针对 $9s$-稀疏信号的固定常数 $\delta = 1/10$ 的限制等距性质（RIP），来界定每次迭代中的误差减少量。
• 推导出一个关键不等式，将残差范数的减少与剩余信号分量的能量联系起来，利用 RIP 和信号的衰减特性。
• 应用数学归纳法证明：只要信号是 $\alpha$-衰减的且 $\alpha > \sqrt{(1+\delta_s)/(2 - (1+\delta_s)^2)}$，则估计信号的支撑集 $\Lambda^\ell$ 就始终包含在真实 $s$-稀疏信号 $\mathbf{x}$ 的支撑集中。
• 证明依赖于对残差范数 $\|\mathbf{y} - A\mathbf{x}^\ell\|_2^2$ 的有界性分析，并表明当选择正确原子时，该范数呈几何级数减少。
• 算法根据当前残差与各原子的相关性大小，每次迭代选择 $M$ 个原子，然后在所选支撑集上进行最小二乘更新。
• 利用矩阵的火花数（spark）和线性无关性条件，确保当支撑集正确时，所选支撑集上的最小二乘解能精确恢复真实信号。

实验结果

研究问题

• RQ1 是否存在一个绝对常数 $M_0 \leq 8$，使得在 $(9s, 1/10)$-RIP 条件下，OMMP($M_0$) 能在恰好 $s$ 次迭代内恢复所有 $s$-稀疏信号？
• RQ2 当 $M = s^a$ 且 $a \in [0, 1/2]$ 时，OMMP 是否能在 $O(s^{1-a})$ 次迭代内恢复缓慢衰减的 $s$-稀疏信号？
• RQ3 当 RIP 常数为绝对常数而非随 $s$ 变化时，OMMP 恢复 $s$-稀疏信号所需的最少迭代次数是多少？

主要发现

• 当测量矩阵满足 $(9s, 1/10)$-RIP 时，OMMP($M_0$) 且 $M_0 \leq 8$ 可在 $s$ 次迭代内精确恢复任意 $s$-稀疏信号。
• 对于缓慢衰减的 $s$-稀疏信号，当 $M = s^a$ 且 $a \in [0, 1/2]$ 时，OMMP 可在 $O(s^{1-a})$ 次迭代内完成信号恢复。
• 当信号为 $\alpha$-衰减且 $\alpha > \sqrt{(1+\delta_s)/(2 - (1+\delta_s)^2)}$ 时，残差误差呈几何级数减少，从而确保收敛至真实支撑集。
• 矩阵 $A$ 的火花数必须大于 $8s\log_2(2(s+1))$，才能保证在所选支撑集上通过最小二乘法实现精确恢复。
• 在给定的 RIP 和衰减条件下，算法在整个迭代过程中保持支撑集包含关系，确保不会引入错误原子。
• 理论分析表明，通过将 $M = s^a$ 时的迭代次数从 $s$ 减少到 $O(s^{1-a})$，OMMP 实现了显著的计算效率提升，尤其当 $a$ 较小时更为明显。