[论文解读] Reed Muller Sensing Matrices and the LASSO

Robert Calderbank, Sina Jafarpour|arXiv (Cornell University)|Apr 28, 2010

Sparse and Compressive Sensing Techniques参考文献 12被引用 5

一句话总结

本文提出了两类确定性感知矩阵——Delsarte-Goethals框架与筛子（sieves）——通过将四元Delsarte-Goethals码中的码字进行指数运算构造而成。这些矩阵具有较低的相干性与谱范数，使得在使用LASSO算法进行压缩感知恢复时，无论在无噪声还是有噪声条件下，其性能均优于随机高斯矩阵，尤其在支持恢复准确率与重建速度方面表现更优。

ABSTRACT

We construct two families of deterministic sensing matrices where the columns are obtained by exponentiating codewords in the quaternary Delsarte-Goethals code $DG(m,r)$. This method of construction results in sensing matrices with low coherence and spectral norm. The first family, which we call Delsarte-Goethals frames, are $2^m$ - dimensional tight frames with redundancy $2^{rm}$. The second family, which we call Delsarte-Goethals sieves, are obtained by subsampling the column vectors in a Delsarte-Goethals frame. Different rows of a Delsarte-Goethals sieve may not be orthogonal, and we present an effective algorithm for identifying all pairs of non-orthogonal rows. The pairs turn out to be duplicate measurements and eliminating them leads to a tight frame. Experimental results suggest that all $DG(m,r)$ sieves with $m\leq 15$ and $r\geq2$ are tight-frames; there are no duplicate rows. For both families of sensing matrices, we measure accuracy of reconstruction (statistical 0-1 loss) and complexity (average reconstruction time) as a function of the sparsity level $k$. Our results show that DG frames and sieves outperform random Gaussian matrices in terms of noiseless and noisy signal recovery using the LASSO.

研究动机与目标

• 开发具有可证明低相干性的确定性感知矩阵及其最优谱范数，以提升压缩感知性能。
• 利用代数码（Delsarte-Goethals码）构造结构化感知矩阵，确保稀疏信号恢复所需的有利几何特性。
• 在LASSO重建框架下，评估所提矩阵与随机高斯矩阵的性能对比。
• 分析所提矩阵在测量噪声与数据域噪声下的鲁棒性。
• 证明确定性DG矩阵在实际信号恢复任务中可达到或超越随机矩阵的性能表现。

提出的方法

• 通过四元Delsarte-Goethals码$DG(m,r)$中的码字进行指数运算，构造感知矩阵，使结果向量在$N$维球面上均匀分布。
• 定义两类矩阵家族：Delsarte-Goethals框架（所有指数化码字的完整集合）与筛子（子采样版本），二者均为具有低相干性的紧框架。
• 分析最坏情况相干性$\mu$与谱范数$\|\Phi\|_2$，以验证LASSO成功所需的RIP类条件。
• 基于Candès与Plan的相干性相关LASSO恢复保证，推导在随机噪声下的理论性能边界。
• 采用SpaRSA实现LASSO重建，使用$\ell_1$-magic实现Basis Pursuit重建，正则化参数通过噪声方差进行调优。
• 开展广泛的数值实验，比较DG矩阵与高斯矩阵在不同稀疏度、信噪比（SNR）及噪声模型（测量噪声与数据域噪声）下的表现。

实验结果

研究问题

• RQ1 基于Delsarte-Goethals码构造的确定性感知矩阵能否达到支持LASSO下稳定$\ell_1$-基恢复的相干性与谱范数水平？
• RQ2 在无噪声与有噪声条件下，DG框架与筛子与随机高斯矩阵相比，在重建准确率与速度方面表现如何？
• RQ3 DG矩阵在不同稀疏度水平与信噪比下是否保持高性能？
• RQ4 在DG筛子中，行正交性与重复测量的作用是什么？如何修正以保持框架的紧性？
• RQ5 结构化确定性矩阵是否相比随机矩阵对数据域噪声具有更强的鲁棒性？

主要发现

• DG(m,r)框架与筛子实现最坏情况相干性$\mu = O(1/\sqrt{N})$，且谱范数$\|\Phi\|_2$接近最优，满足LASSO成功的理论条件。
• 当$m \leq 15$且$r \geq 2$时，实验结果表明DG筛子为紧框架，且无重复行，表明其具有强结构稳定性。
• 在无噪声恢复中，DG矩阵在支持恢复准确率方面优于随机高斯矩阵，以统计0-1损失衡量，尤其在高稀疏度下表现更优。
• 在有噪声条件下，DG矩阵在测量噪声与数据域噪声下均显著优于高斯矩阵，表现为更低的重建误差与更短的平均重建时间。
• 使用SpaRSA（$\lambda = 10^{-9}$）与$\ell_1$-magic实现Basis Pursuit的实验结果确认，在相同条件下DG矩阵可实现比高斯矩阵更精确的恢复。
• 结果表明，结构化确定性矩阵在实际压缩感知任务中可达到或超越随机矩阵的性能，尤其在使用LASSO时表现突出。