[论文解读] The Generalized Lasso with Nonlinear Observations and Generative Priors

Zhaoqiang Liu, Jonathan Scarlett|arXiv (Cornell University)|Jan 1, 2020

Markov Chains and Monte Carlo Methods被引用 4

一句话总结

本文提出了一种广义Lasso框架，用于在信号位于Lipschitz连续生成模型的范围内且输入为有界k维时，从含噪声的非线性测量中估计信号。在子高斯测量和对抗性污染条件下，建立了非均匀和均匀的恢复保证，表明O(k/ε² log L)个样本足以实现ℓ₂误差ε，且对噪声具有鲁棒性，适用于神经网络以及1-bit或Tobit模型。

ABSTRACT

In this paper, we study the problem of signal estimation from noisy non-linear measurements when the unknown $n$-dimensional signal is in the range of an $L$-Lipschitz continuous generative model with bounded $k$-dimensional inputs. We make the assumption of sub-Gaussian measurements, which is satisfied by a wide range of measurement models, such as linear, logistic, 1-bit, and other quantized models. In addition, we consider the impact of adversarial corruptions on these measurements. Our analysis is based on a generalized Lasso approach (Plan and Vershynin, 2016). We first provide a non-uniform recovery guarantee, which states that under i.i.d.~Gaussian measurements, roughly $O\left(\frac{k}{\epsilon^2}\log L ight)$ samples suffice for recovery with an $\ell_2$-error of $\epsilon$, and that this scheme is robust to adversarial noise. Then, we apply this result to neural network generative models, and discuss various extensions to other models and non-i.i.d.~measurements. Moreover, we show that our result can be extended to the uniform recovery guarantee under the assumption of a so-called local embedding property, which is satisfied by the 1-bit and censored Tobit models.

研究动机与目标

• 解决当信号被约束在生成模型输出范围内时，从非线性、含噪声测量中进行信号估计的问题。
• 在测量过程中存在对抗性污染的情况下，开发一种鲁棒的恢复框架。
• 将广义Lasso方法扩展至具有子高斯噪声的非线性观测模型。
• 在局部嵌入性质条件下建立统一的恢复保证，适用于1-bit和右删失Tobit等模型。
• 分析高维信号恢复中生成先验的样本复杂度和误差界。

提出的方法

• 该方法采用基于Plan和Vershynin（2016）的广义Lasso公式，针对非线性观测进行了调整。
• 假设测量噪声为子高斯分布，涵盖线性、逻辑斯蒂、1-bit和量化模型。
• 分析利用了生成模型的L-Lipschitz连续性以及有界k维潜在码。
• 在独立同分布的高斯测量下，通过浓度不等式建立了非均匀恢复。
• 在局部嵌入性质条件下，推导出统一的恢复保证，该性质在1-bit和Tobit模型中成立。
• 该框架被扩展至非独立同分布测量，并应用于基于神经网络的生成模型。

实验结果

研究问题

• RQ1 广义Lasso能否被扩展至具有生成先验和对抗性噪声的非线性测量模型？
• RQ2 在子高斯测量下，实现ℓ₂误差ε的信号恢复所需样本复杂度是多少？
• RQ3 在什么条件下，恢复保证能统一适用于生成模型输出范围内的所有信号？
• RQ4 局部嵌入性质如何使1-bit和右删失Tobit等模型实现统一恢复？
• RQ5 该框架能否应用于深度生成模型，如训练好的神经网络？

主要发现

• 在子高斯噪声下，通过O(k/ε² log L)个独立同分布的高斯测量，可实现ℓ₂误差ε的非均匀恢复。
• 该方法对测量中的对抗性污染具有鲁棒性，且保持相同的误差界。
• 在局部嵌入性质条件下，统一恢复保证成立，而1-bit和右删失Tobit模型满足该性质。
• 样本复杂度与生成模型的Lipschitz常数L呈对数关系。
• 该框架适用于基于神经网络的生成模型，实现了具有理论保证的信号恢复。
• 对非独立同分布测量的扩展是可行的，从而将适用范围从独立同分布设置中拓展出来。