[论文解读] Sample Complexity Bounds for 1-bit Compressive Sensing and Binary Stable Embeddings with Generative Priors

Zhaoqiang Liu, Selwyn Gomes+2 more|arXiv (Cornell University)|Feb 5, 2020

Sparse and Compressive Sensing Techniques被引用 11

一句话总结

本论文为使用生成模型作为先验的1-bit压缩感知建立了样本复杂度界限，表明对于利普希茨连续的生成模型，$ O(k \log L) $ 个高斯测量值足以实现信号的近似恢复，并给出了匹配的信息论下界。此外，证明了在这些条件下存在二值 $\epsilon$-稳定嵌入，从而在存在噪声时也能实现鲁棒重建。

ABSTRACT

The goal of standard 1-bit compressive sensing is to accurately recover an unknown sparse vector from binary-valued measurements, each indicating the sign of a linear function of the vector. Motivated by recent advances in compressive sensing with generative models, where a generative modeling assumption replaces the usual sparsity assumption, we study the problem of 1-bit compressive sensing with generative models. We first consider noiseless 1-bit measurements, and provide sample complexity bounds for approximate recovery under i.i.d.~Gaussian measurements and a Lipschitz continuous generative prior, as well as a near-matching algorithm-independent lower bound. Moreover, we demonstrate that the Binary $\\epsilon$-Stable Embedding property, which characterizes the robustness of the reconstruction to measurement errors and noise, also holds for 1-bit compressive sensing with Lipschitz continuous generative models with sufficiently many Gaussian measurements. In addition, we apply our results to neural network generative models, and provide a proof-of-concept numerical experiment demonstrating significant improvements over sparsity-based approaches.

研究动机与目标

• 通过用生成先验替代稀疏性假设，弥合1-bit压缩感知与生成建模之间的鸿沟。
• 在生成建模框架下，为1-bit压缩感知中的近似信号恢复建立紧致的样本复杂度界限。
• 证明对于利普希茨连续生成模型，1-bit CS 中的二值 $\epsilon$-稳定嵌入性质成立，从而确保对噪声的鲁棒性。
• 展示生成先验相较于基于稀疏性的方法在1-bit CS中的理论优势，特别是在减少所需测量数方面。
• 为在低精度、高吞吐量信号采集系统中使用深度生成模型提供理论基础。

提出的方法

• 使用独立同分布的高斯测量矩阵，对通过利普希茨连续生成模型生成的信号进行二值符号测量。
• 采用信息论分析推导样本复杂度的上下界，表明 $ m = \Omega(k \log(n/k)) $ 是实现 $ \epsilon $-准确恢复的必要且充分条件。
• 通过单位球面上的填充数论证建立下界，利用吉尔伯特-瓦尔沙莫夫界分析结构化信号集中的汉明距离。
• 证明当测量次数足够多时，1-bit CS 与生成模型结合下，二值 $\epsilon$-稳定嵌入性质成立，从而确保对预量化噪声的鲁棒性。
• 分析生成模型的利普希茨常数 $ L $，将样本复杂度与模型容量关联，得出半径为 $ r $ 时 $ m = \Omega(k \log(Lr)) $ 的结果。
• 通过基于神经网络的生成模型进行概念验证数值实验，验证理论结果，显示相较于基于稀疏性的方法有显著改进。

实验结果

研究问题

• RQ1 当信号位于利普希茨连续生成模型的范围内时，近似恢复信号所需的最少1-bit测量数是多少？
• RQ2 对于具有生成先验的1-bit压缩感知，二值 $\epsilon$-稳定嵌入性质是否成立，从而确保对测量噪声的鲁棒性？
• RQ3 与基于稀疏性的1-bit CS相比，使用生成模型的1-bit CS的样本复杂度在信号维度和模型复杂度上的依赖关系如何？
• RQ4 生成先验在压缩感知中的理论优势能否扩展到1-bit量化领域？其基本极限是什么？
• RQ5 对于使用生成模型的1-bit CS，其信息论下界样本复杂度是多少？与恢复算法所得的上界相比如何？

主要发现

• 对于 $ L $-利普希茨连续生成模型，1-bit压缩感知的样本复杂度为 $ O(k \log L) $，其中 $ k $ 为潜在维度，$ L $ 为利普希茨常数。
• 建立了匹配的信息论下界 $ \Omega(k \log(n/k)) $，表明上界在对数因子范围内是紧致的。
• 在足够多的独立同分布高斯测量下，1-bit CS 与生成模型结合时，二值 $\epsilon$-稳定嵌入性质成立，从而确保对预量化噪声的鲁棒性。
• 对于基于神经网络的生成模型，理论框架可显著减少相对于基于稀疏性方法所需的测量数，这一结果在概念验证实验中得到验证。
• 通过将利普希茨常数 $ L $ 与潜在空间半径 $ r $ 关联，推导出样本复杂度边界 $ m = \Omega(k \log(Lr)) $，表明其对模型容量的依赖性。
• 分析表明，当信号能量满足 $ (k-1)x_{\max}^2 = 3x_c^2 $ 时，下界 $ \Omega(k \log(n/k)) $ 与 $ \Omega(k \log(Lr)) $ 等价，从而将模型参数与测量需求联系起来。