[论文解读] Robust compressed sensing of generative models.

Ajil Jalal, Liu Liu+2 more|arXiv (Cornell University)|Jun 16, 2020

Sparse and Compressive Sensing Techniques参考文献 71被引用 8

一句话总结

本文提出了一种受中位数-均值（MOM）启发的算法，用于使用深度生成模型作为先验的鲁棒压缩感知，即使在重尾或受损测量下也能可靠地恢复高维信号。该方法在子高斯假设下实现了与经验风险最小化（ERM）相同的样本复杂度，同时保持了对异常值的鲁棒性。

ABSTRACT

The goal of compressed sensing is to estimate a high dimensional vector from an underdetermined system of noisy linear equations. In analogy to classical compressed sensing, here we assume a generative model as a prior, that is, we assume the vector is represented by a deep generative model $G: \mathbb{R}^k ightarrow \mathbb{R}^n$. Classical recovery approaches such as empirical risk minimization (ERM) are guaranteed to succeed when the measurement matrix is sub-Gaussian. However, when the measurement matrix and measurements are heavy-tailed or have outliers, recovery may fail dramatically. In this paper we propose an algorithm inspired by the Median-of-Means (MOM). Our algorithm guarantees recovery for heavy-tailed data, even in the presence of outliers. Theoretically, our results show our novel MOM-based algorithm enjoys the same sample complexity guarantees as ERM under sub-Gaussian assumptions. Our experiments validate both aspects of our claims: other algorithms are indeed fragile and fail under heavy-tailed and/or corrupted data, while our approach exhibits the predicted robustness.

研究动机与目标

• 解决经典压缩感知方法在测量为重尾分布或包含异常值时的脆弱性。
• 开发一种在非子高斯测量噪声和数据污染下仍能保持性能的恢复算法。
• 为在重尾和受损数据下使用生成先验实现鲁棒恢复提供理论保证。
• 在确保对异常值鲁棒性的同时，实现与经验风险最小化（ERM）相同的样本复杂度。

提出的方法

• 该方法采用中位数-均值（MOM）框架，以降低对重尾或受损测量的敏感性。
• 它将测量数据划分为多个子集，并计算基于中位数的损失估计，以减轻异常值的影响。
• 该算法在深度生成模型 $ G: \mathbb{R}^k \to \mathbb{R}^n $ 的潜在空间上优化基于MOM的经验风险目标。
• 理论分析表明，该方法在子高斯假设下实现了与ERM相同的样本复杂度。
• 该方法利用生成模型先验，实现了在少于环境维度的测量下进行恢复。

实验结果

研究问题

• RQ1 压缩感知算法是否能在重尾测量噪声下保持恢复精度？
• RQ2 所提出的基于MOM的方法在子高斯条件下是否实现了与ERM相同的样本复杂度？
• RQ3 与标准ERM方法相比，该算法在存在异常值时表现如何？
• RQ4 当测量数据被污染时，生成模型是否能有效用于鲁棒信号恢复？

主要发现

• 所提出的基于MOM的算法即使在测量为重尾或包含异常值时，也能成功从欠定系统中恢复信号。
• 该方法在子高斯假设下实现了与经验风险最小化（ERM）相同的样本复杂度，确保了理论上的效率。
• 实验结果证实，标准ERM方法在重尾或受损数据下会失效，而所提方法仍保持鲁棒性。
• 通过实证结果验证了该算法的鲁棒性，结果表明其在不同污染水平和重尾噪声下均表现出一致的性能。