[论文解读] Subspace-Sparse Representation

Chong You, Renè Vidal|arXiv (Cornell University)|Jul 6, 2015

Sparse and Compressive Sensing Techniques参考文献 42被引用 4

一句话总结

本文提出了子空间稀疏表示（subspace-sparse representation），这是对稀疏恢复的推广，其中信号位于由字典原子张成的低维子空间中，即使这些原子线性相关。它通过主恢复条件（Principal Recovery Condition, PRC）和对偶表示条件（Dual Representation Condition, DRC）建立了足够的几何条件，以确保基追踪（Basis Pursuit, BP）和正交匹配追踪（Orthogonal Matching Pursuit, OMP）能够恢复识别正确子空间的表示，该方法在稀疏恢复和分类任务中具有应用价值。

ABSTRACT

Given an overcomplete dictionary $A$ and a signal $b$ that is a linear combination of a few linearly independent columns of $A$, classical sparse recovery theory deals with the problem of recovering the unique sparse representation $x$ such that $b = A x$. It is known that under certain conditions on $A$, $x$ can be recovered by the Basis Pursuit (BP) and the Orthogonal Matching Pursuit (OMP) algorithms. In this work, we consider the more general case where $b$ lies in a low-dimensional subspace spanned by some columns of $A$, which are possibly linearly dependent. In this case, the sparsest solution $x$ is generally not unique, and we study the problem that the representation $x$ identifies the subspace, i.e. the nonzero entries of $x$ correspond to dictionary atoms that are in the subspace. Such a representation $x$ is called subspace-sparse. We present sufficient conditions for guaranteeing subspace-sparse recovery, which have clear geometric interpretations and explain properties of subspace-sparse recovery. We also show that the sufficient conditions can be satisfied under a randomized model. Our results are applicable to the traditional sparse recovery problem and we get conditions for sparse recovery that are less restrictive than the canonical mutual coherent condition. We also use the results to analyze the sparse representation based classification (SRC) method, for which we get conditions to show its correctness.

研究动机与目标

• 将稀疏恢复推广到信号位于可能线性相关的字典原子张成的子空间中的情况。
• 建立基追踪（Basis Pursuit, BP）和正交匹配追踪（Orthogonal Matching Pursuit, OMP）产生子空间稀疏表示的充分条件。
• 提供恢复条件的几何解释，其限制性弱于经典的互相关性条件。
• 分析基于稀疏表示的分类（SRC）正确性的理论依据，基于所提出的框架。
• 证明在随机模型下，条件以高概率成立，从而将适用性扩展至真实世界数据。

提出的方法

• 引入子空间稀疏表示的概念，即解 x 中非零条目仅对应于张成包含信号的子空间的原子。
• 定义主恢复条件（PRC）和对偶表示条件（DRC）作为子空间稀疏恢复的充分条件。
• 通过子空间之间的最小夹角和对偶点的几何分析，推导恢复性能的界。
• 应用盖尔松定理（Gersgorin’s disc theorem）和特征值界，控制字典子矩阵的条件数。
• 利用强对偶性和 ℓ1-优化，界定子空间与剩余原子之间的相干性。
• 在球面上采用均匀随机模型，结合并集界和概率分析，推导出高概率恢复保证。

实验结果

研究问题

• RQ1 在原子线性相关的情况下，基追踪（BP）和正交匹配追踪（OMP）在何种条件下能够恢复识别正确子空间的表示？
• RQ2 所提出的条件（PRC 和 DRC）与经典互相关性条件相比，在限制性和几何可解释性方面有何差异？
• RQ3 所提出的框架能否解释基于稀疏表示的分类（SRC）在人脸识别和聚类任务中成功的原因？
• RQ4 何种概率模型可确保恢复条件以高概率满足？
• RQ5 该框架如何推广经典稀疏恢复？相较于经典方法，它带来了哪些改进？

主要发现

• 主恢复条件（PRC）和对偶表示条件（DRC）是基追踪（BP）和正交匹配追踪（OMP）实现子空间稀疏恢复的充分条件。
• 当互相关性 µ(A) < 1/(2s₀−1) 时，PRC 和 DRC 必然成立，从而确保子空间稀疏恢复。
• 所推导的条件比经典互相关性条件更宽松，可在更一般的情境下实现恢复。
• 在原子在球面上均匀分布的随机模型下，随着维度增加，条件以高概率成立。
• 该框架为基于稀疏表示的分类（SRC）的正确性提供了理论依据，表明在较弱条件下仍能恢复子空间稀疏表示。
• 结果可推广至经典稀疏恢复，在原子无需满足非相干性要求时，提供更优的恢复保证。