[论文解读] Robust Compressed Sensing using Generative Models

Ajil Jalal, Liu Liu+2 more|arXiv (Cornell University)|Jun 16, 2020

Sparse and Compressive Sensing Techniques被引用 6

一句话总结

本文提出一种基于生成模型的鲁棒压缩感知算法，用中位数平均（MOM）损失替代标准的经验风险最小化（ERM），以确保在测量值和测量矩阵存在重尾噪声及任意异常值时仍能实现稳定恢复。该方法在子高斯假设下保持与 ERM 相同的样本复杂度——$m = O(kdackepsilon n)$——同时具备鲁棒性，即使受限特征值条件不再成立亦能保持性能。

ABSTRACT

The goal of compressed sensing is to estimate a high dimensional vector from an underdetermined system of noisy linear equations. In analogy to classical compressed sensing, here we assume a generative model as a prior, that is, we assume the vector is represented by a deep generative model $G: \mathbb{R}^k ightarrow \mathbb{R}^n$. Classical recovery approaches such as empirical risk minimization (ERM) are guaranteed to succeed when the measurement matrix is sub-Gaussian. However, when the measurement matrix and measurements are heavy-tailed or have outliers, recovery may fail dramatically. In this paper we propose an algorithm inspired by the Median-of-Means (MOM). Our algorithm guarantees recovery for heavy-tailed data, even in the presence of outliers. Theoretically, our results show our novel MOM-based algorithm enjoys the same sample complexity guarantees as ERM under sub-Gaussian assumptions. Our experiments validate both aspects of our claims: other algorithms are indeed fragile and fail under heavy-tailed and/or corrupted data, while our approach exhibits the predicted robustness.

研究动机与目标

• 解决现有基于生成模型的压缩感知方法在测量值或测量矩阵呈现重尾分布或受异常值污染时的脆弱性。
• 开发一种 ERM 的鲁棒替代方法，在弱矩假设下仍能保持理论保证。
• 在子高斯假设下实现与 ERM 相同的样本复杂度，同时对重尾噪声和对抗性污染具有鲁棒性。
• 通过实证验证，所提出的基于 MOM 的算法在重尾和受污染数据下的重建误差方面优于 ERM。

提出的方法

• 用中位数平均（MOM）损失函数替代标准 ERM，以降低对异常值和重尾分布的敏感性。
• 采用受 MOM 比赛启发的极小化-极大化优化框架，确保在 $A$ 和 $y$ 存在任意污染时的鲁棒性。
• 提出一种新颖的分析方法，避免依赖于在非子高斯假设下失效的集合受限特征值条件（S-REC）。
• 使用带有 ReLU 激活函数的深度生成模型 $G: \mathbb{R}^k \to \mathbb{R}^n$ 作为未知信号 $x^*$ 的先验。
• 利用标准优化工具（如 Adam、Yellowfin）实现算法，与 ERM 相比计算开销极低。
• 采用分块策略，通过子集上的损失估计计算中位数，确保在弱矩条件下的稳定性。

实验结果

研究问题

• RQ1 基于生成模型的压缩感知能否在测量值和测量矩阵存在重尾噪声及任意异常值时实现鲁棒性？
• RQ2 基于 MOM 的算法是否在子高斯假设下保持与 ERM 相同的样本复杂度，同时对非子高斯数据具有鲁棒性？
• RQ3 当 S-REC 不再成立时，所提方法在弱矩假设下是否理论上保证能恢复真实信号？
• RQ4 在重尾和受污染数据下，所提算法与 ERM 在重建误差方面的实证表现如何比较？

主要发现

• 所提 MOM 基础算法在重尾噪声和任意污染下，仍能实现 $\|G(\widehat{z}) - G(z^*)\|^2 \leq O(\sigma^2 + \tau)$，且仅需 $m = O(kd\log n)$ 测量值。
• 尽管不依赖 S-REC，该算法在子高斯假设下仍保持与 ERM 相同的样本复杂度。
• 在 MNIST 数据集上，当 $A$ 和 $\eta$ 为重尾分布时，所提方法在不同 $m$ 值下均显著优于 ERM 的重建误差。
• 在 CelebA-HQ 数据集（$256 \times 256 \times 3$ 图像）上，该方法在无异常值的重尾数据中表现具有竞争力，且在数据受污染时展现出更优的鲁棒性。
• 实证结果证实，ERM 在重尾和受污染数据下表现严重失败，而基于 MOM 的方法保持稳定与准确。
• 理论分析表明，当避免使用 S-REC 时，标准 ERM 在弱矩假设下仍可能成功，提示其适用范围可超越子高斯设定。