[论文解读] Sparse Recovery with Linear and Nonlinear Observations: Dependent and Noisy Data

Cem Aksoylar, Venkatesh Saligrama|arXiv (Cornell University)|Mar 12, 2014

Sparse and Compressive Sensing Techniques参考文献 29被引用 5

一句话总结

本文提出了一种信息论框架，用于在具有依赖性、噪声和相关特征的一般线性和非线性模型下进行稀疏支持恢复。该框架建立了恢复误差概率的非渐近界，并通过互信息推导出紧致的样本复杂度界，表明 $ N I(X_S;Y) > \log{D \choose K} $ 是可靠恢复的必要且充分条件，且明确刻画了信噪比（SNR）、相关性和噪声的影响。

ABSTRACT

We formulate sparse support recovery as a salient set identification problem and use information-theoretic analyses to characterize the recovery performance and sample complexity. We consider a very general model where we are not restricted to linear models or specific distributions. We state non-asymptotic bounds on recovery probability and a tight mutual information formula for sample complexity. We evaluate our bounds for applications such as sparse linear regression and explicitly characterize effects of correlation or noisy features on recovery performance. We show improvements upon previous work and identify gaps between the performance of recovery algorithms and fundamental information.

研究动机与目标

• 解决高维设置下具有依赖性和噪声特征的稀疏支持恢复问题，超越独立同分布或线性假设。
• 将压缩感知、特征选择和群体测试等多样化的稀疏恢复问题统一于一个共同的马尔可夫框架下。
• 推导显著集合识别中误差概率的非渐近、信息论界。
• 以互信息和信噪比（SNR）、相关性及噪声等模型参数的形式刻画样本复杂度。
• 弥合现有恢复算法性能与稀疏恢复中基本信息论极限之间的差距。

提出的方法

• 通过马尔可夫假设将稀疏恢复建模为显著集合识别问题：$ P(Y|X) = P(Y|X_S) $，其中 $ S $ 是大小为 $ K $ 的真实支持集。
• 利用广义切尔诺夫不等式推导误差概率的非渐近上界，从而得到指数误差指数 $ E_o $。
• 将互信息 $ I(X_S;Y) $ 作为样本复杂度的关键度量，表明 $ N I(X_S;Y) > \log{D \choose K} $ 是可靠恢复的必要且充分条件。
• 将该框架应用于稀疏线性回归和1比特压缩感知，显式建模相关特征和噪声变量。
• 使用高斯近似和矩匹配方法，推导出特定模型下误差指数的闭式表达式。
• 将结果推广至随机 $ \beta_S $ 情况，并通过参数 $ \rho $ 考虑特征相关性，同时对似然函数中的方差项进行调整。

实验结果

研究问题

• RQ1 当特征具有依赖性且存在噪声时，可靠稀疏支持恢复所需的最低样本复杂度是什么？
• RQ2 特征之间的相关性以及观测中的噪声如何影响稀疏恢复中的误差概率？
• RQ3 能否开发一个统一的信息论框架，以分析压缩感知、群体测试和逻辑回归等多样化的稀疏恢复问题？
• RQ4 现有恢复算法的性能与基本信息论极限之间存在多大差距？
• RQ5 如何为实际模型显式推导并计算误差概率的非渐近界？

主要发现

• 本文建立了显著集合恢复误差概率的紧致非渐近上界，该上界随样本量 $ N $ 指数衰减。
• 样本复杂度由条件 $ N I(X_S;Y) > \log{D \choose K} $ 刻画，其中互信息量化了每一样本的有效信息量。
• 对于具有相关特征的稀疏线性模型，误差指数取决于信噪比（SNR）、特征相关性 $ \rho $ 和噪声方差，且已推导出明确表达式。
• 误差指数下界为 $ E_o(1) \geq \frac{1}{2}\log\left(1 + c' \frac{1-\rho}{1+\nu} \frac{\sigma^2 \text{SNR}}{N\xi}\right) - \frac{1}{4N}\log 4 $，其中 $ \xi = 1 + \frac{(1-\rho)\nu}{1+\nu} \frac{K \text{SNR} \sigma^2}{N} $。
• 该框架识别出当前算法与信息论极限之间的性能差距，尤其在特征相关性和噪声存在时更为显著。
• 为1比特压缩感知和稀疏线性模型推导出显式界，表明相关性会降低有效信息量并增加所需样本量。