[论文解读] On Sparse Vector Recovery Performance in Structurally Orthogonal Matrices via LASSO

Chao-Kai Wen, Jun Zhang+3 more|arXiv (Cornell University)|Oct 27, 2014

Sparse and Compressive Sensing Techniques参考文献 43被引用 3

一句话总结

本文通过大系统极限下的复制法，分析了在结构正交测量矩阵（由随机正交基拼接而成的矩阵）下，LASSO 重构稀疏信号的性能。推导出一个解析的均方误差（MSE）公式，并表明此类矩阵的重构性能至少与 i.i.d. 高斯矩阵相当，因此由于其计算速度快且支持并行处理，特别适用于大规模压缩感知应用。

ABSTRACT

In this paper, we consider a compressed sensing problem of reconstructing a sparse signal from an undersampled set of noisy linear measurements. The regularized least squares or least absolute shrinkage and selection operator (LASSO) formulation is used for signal estimation. The measurement matrix is assumed to be constructed by concatenating several randomly orthogonal bases, referred to as structurally orthogonal matrices. Such measurement matrix is highly relevant to large-scale compressive sensing applications because it facilitates fast computation and also supports parallel processing. Using the replica method from statistical physics, we derive the mean-squared-error (MSE) formula of reconstruction over the structurally orthogonal matrix in the large-system regime. Extensive numerical experiments are provided to verify the analytical result. We then use the analytical result to study the MSE behaviors of LASSO over the structurally orthogonal matrix, with a particular focus on performance comparisons to matrices with independent and identically distributed (i.i.d.) Gaussian entries. We demonstrate that the structurally orthogonal matrices are at least as well performed as their i.i.d. Gaussian counterparts, and therefore the use of structurally orthogonal matrices is highly motivated in practical applications.

研究动机与目标

• 分析在使用结构正交测量矩阵时，LASSO 重构稀疏信号的均方误差（MSE）性能。
• 利用统计物理中的复制法，在大系统范围内推导此类矩阵的解析 MSE 表达式。
• 比较结构正交矩阵与 i.i.d. 高斯测量矩阵在重构性能上的差异。
• 通过大量数值实验验证分析结果。
• 确立结构正交矩阵在大规模压缩感知中因计算效率高且支持并行化而具有的实际优势。

提出的方法

• 应用复制法，推导在大系统极限（N → ∞）下，LASSO 在结构正交矩阵上的渐近 MSE。
• 将测量矩阵建模为 L 个随机正交基的拼接，每个基由 Haar 分布的酉矩阵表示。
• 分析中包含复值信号，并在 LASSO 公式中使用复数 ℓ₁-范数，以提升相对于实值扩展的性能。
• 利用高斯积分和 Hubbard-Stratonovich 变换处理配分函数，并对随机矩阵 ensemble 进行平均。
• 应用鞍点近似简化所得表达式，得到一个包含矩阵函数迹的闭式 MSE 表达式。
• 推导过程扩展了先前研究，允许正交基中存在非单位协方差矩阵（R_p），从而推广了针对 i.i.d. 或单位结构矩阵的早期工作。

实验结果

研究问题

• RQ1 在大系统极限下，LASSO 在结构正交测量矩阵上的均方误差（MSE）行为如何？
• RQ2 当测量矩阵由拼接的正交基构成时，LASSO 的解析 MSE 表达式是什么？
• RQ3 在稀疏信号恢复方面，结构正交矩阵与 i.i.d. 高斯矩阵在 MSE 上的性能相比如何？
• RQ4 在何种条件下，使用结构正交矩阵能实现优于或等同于 i.i.d. 高斯矩阵的性能？
• RQ5 通过数值模拟能否验证通过复制法推导出的解析 MSE 公式？

主要发现

• 推导出的 LASSO 在结构正交矩阵上的 MSE 公式在大系统极限下是解析精确的，其依赖于稀疏度、噪声功率以及正交基的结构。
• 通过大量数值实验验证了分析的 MSE 表达式，理论与仿真在各种稀疏度和噪声条件下表现出高度一致。
• 结构正交矩阵在相同条件下实现了至少与 i.i.d. 高斯矩阵相当的重构性能，MSE 无退化。
• 结构正交矩阵的性能等价或更优，归因于其有利的谱特性与结构化随机性，能保持与稀疏信号的良好非相干性。
• 结果表明，由于计算效率高且支持并行处理，结构正交矩阵是大规模压缩感知的强有力候选。
• 分析证实，LASSO 中使用复数 ℓ₁-范数优于实值扩展，尤其在信号实部与虚部相关时表现更优。