[论文解读] Robust One-Bit Recovery via ReLU Generative Networks: Near-Optimal Statistical Rate and Global Landscape Analysis

Shuang Qiu, Xiaohan Wei+1 more|arXiv (Cornell University)|Aug 14, 2019

Sparse and Compressive Sensing Techniques参考文献 31被引用 11

一句话总结

本文提出了一种使用 ReLU 生成网络的鲁棒一比特压缩感知框架，用于从量化测量中恢复稀疏信号。它建立了近似最优的统计速率 $ m = \widetilde{\mathcal{O}}(kn\log d/\varepsilon^2) $，并证明经验风险最小化景观在真实表示和负表示的邻域之外不存在虚假驻点，从而在弱条件下确保全局收敛。

ABSTRACT

We study the robust one-bit compressed sensing problem whose goal is to design an algorithm that faithfully recovers any sparse target vector $θ_0\in\mathbb{R}^d$ extit{uniformly} via $m$ quantized noisy measurements. Specifically, we consider a new framework for this problem where the sparsity is implicitly enforced via mapping a low dimensional representation $x_0 \in \mathbb{R}^k$ through a known $n$-layer ReLU generative network $G:\mathbb{R}^k ightarrow\mathbb{R}^d$ such that $θ_0 = G(x_0)$. Such a framework poses low-dimensional priors on $θ_0$ without a known sparsity basis. We propose to recover the target $G(x_0)$ solving an unconstrained empirical risk minimization (ERM). Under a weak extit{sub-exponential measurement assumption}, we establish a joint statistical and computational analysis. In particular, we prove that the ERM estimator in this new framework achieves a statistical rate of $m=\widetilde{\mathcal{O}}(kn \log d /\varepsilon^2)$ recovering any $G(x_0)$ uniformly up to an error $\varepsilon$. When the network is shallow (i.e., $n$ is small), we show this rate matches the information-theoretic lower bound up to logarithm factors of $\varepsilon^{-1}$. From the lens of computation, we prove that under proper conditions on the network weights, our proposed empirical risk, despite non-convexity, has no stationary point outside of small neighborhoods around the true representation $x_0$ and its negative multiple; furthermore, we show that the global minimizer of the empirical risk stays within the neighborhood around $x_0$ rather than its negative multiple under further assumptions on the network weights.

研究动机与目标

• 为解决传统一比特压缩感知的局限性，后者依赖高斯测量向量和显式的稀疏基。
• 开发一种通过深度 ReLU 生成模型隐式施加低维先验的框架，而无需已知的稀疏基。
• 在弱子指数测量假设下，实现对任意目标向量 $ \theta_0 = G(x_0) $ 的统一恢复。
• 为所提出的经验风险最小化方法建立统计与计算保证。

提出的方法

• 将目标向量 $ \theta_0 $ 建模为已知的 $ n $ 层 ReLU 生成网络 $ G: \mathbb{R}^k \to \mathbb{R}^d $ 的输出，该网络将低维潜在码 $ x_0 \in \mathbb{R}^k $ 映射至高维空间。
• 提出一种无约束的经验风险最小化（ERM）公式，用于从 $ m $ 个一比特测量中恢复 $ G(x_0) $。
• 在弱子指数测量假设下分析统计速率，表明 $ m = \widetilde{\mathcal{O}}(kn\log d/\varepsilon^2) $ 个测量足以实现 $ \varepsilon $-精度。
• 建立全局景观分析，证明在对网络权重施加弱条件时，ERM 目标函数在 $ x_0 $ 和 $ -x_0 $ 的邻域之外不存在驻点，从而确保全局收敛。
• 在对网络权重施加额外假设的条件下，证明 ERM 的全局最小值位于 $ x_0 $ 的邻域内而非 $ -x_0 $ 的邻域内，从而解决符号模糊性问题。
• 利用浓度不等式和几何论证，界定了经验风险与其期望之间的偏差，确保统一恢复。

实验结果

研究问题

• RQ1 能否使一比特压缩感知在非高斯、子指数测量向量下保持鲁棒性，同时维持统一恢复保证？
• RQ2 使用深度 ReLU 生成模型作为先验，是否能在不依赖于已知基下的显式稀疏性时，实现近似最优的统计恢复速率？
• RQ3 在此生成框架下，非凸经验风险最小化问题能否避免虚假局部极小值并确保全局收敛？
• RQ4 在何种网络权重条件下，经验风险的全局最小值对应于真实潜在码 $ x_0 $ 而非其负值？
• RQ5 所提出的框架的统计速率是否近似最优，尤其是在浅层网络情形下？

主要发现

• 所提出的 ERM 估计器实现了 $ m = \widetilde{\mathcal{O}}(kn\log d/\varepsilon^2) $ 的统计速率，当网络为浅层（$ n $ 较小）时，该速率与信息论下界仅相差对数因子。
• 在对网络权重施加弱条件时，经验风险函数在 $ x_0 $ 和 $ -x_0 $ 的邻域之外不存在驻点，从而确保收敛至接近真实潜在码的解。
• 在对网络权重施加进一步假设的条件下，证明经验风险的全局最小值位于 $ x_0 $ 的邻域内而非 $ -x_0 $ 的邻域内，从而解决了符号模糊性问题。
• 分析在弱子指数测量假设下成立，使该框架对非高斯测量甚至更具实际意义的传感机制具有鲁棒性。
• 结果在测量过程上以高概率成立，确保对半径 $ R $ 内所有 $ k $-稀疏目标的统一恢复。