[论文解读] The generalized Lasso with non-linear observations

Yaniv Plan, Roman Vershynin|arXiv (Cornell University)|Feb 13, 2015

Sparse and Compressive Sensing Techniques参考文献 43被引用 19

一句话总结

本文为非线性观测模型中的广义Lasso建立了理论保证，表明非线性观测的表现类似于具有有效缩放和噪声参数的带噪线性观测。它首次为测量协方差未知的1-bit压缩感知提供了精度边界，利用局部均宽度控制一般信号结构下的误差。

ABSTRACT

We study the problem of signal estimation from non-linear observations when the signal belongs to a low-dimensional set buried in a high-dimensional space. A rough heuristic often used in practice postulates that non-linear observations may be treated as noisy linear observations, and thus the signal may be estimated using the generalized Lasso. This is appealing because of the abundance of efficient, specialized solvers for this program. Just as noise may be diminished by projecting onto the lower dimensional space, the error from modeling non-linear observations with linear observations will be greatly reduced when using the signal structure in the reconstruction. We allow general signal structure, only assuming that the signal belongs to some set K in R^n. We consider the single-index model of non-linearity. Our theory allows the non-linearity to be discontinuous, not one-to-one and even unknown. We assume a random Gaussian model for the measurement matrix, but allow the rows to have an unknown covariance matrix. As special cases of our results, we recover near-optimal theory for noisy linear observations, and also give the first theoretical accuracy guarantee for 1-bit compressed sensing with unknown covariance matrix of the measurement vectors.

研究动机与目标

• 为在非线性观测模型中使用广义Lasso提供理论依据，因为实践中尽管缺乏理论支持，人们仍常使用该方法。
• 刻画非线性观测（例如量化或二值化）如何表现得像具有有效信噪比缩放的线性观测。
• 将现有理论扩展至允许测量矩阵协方差未知的情形，这在实际应用（如1-bit压缩感知）中尤为重要。
• 为测量矩阵协方差未知时的1-bit压缩感知首次建立理论精度保证。
• 统一并推广现有关于非线性模型下Lasso结果的理论，包括不连续和未知非线性的情形。

提出的方法

• 采用半参数单指数模型，其中观测是非线性函数的线性测量：$ y_i = f_i(\langle \mathbf{a}_i, \mathbf{x} \rangle) $。
• 假设测量矩阵 $ \mathbf{A} $ 的行独立同分布且具有未知协方差 $ \Sigma $，从而对未知缩放具有鲁棒性。
• 对信号空间进行变换，将问题简化为使用 $ K $-Lasso 的结构化估计框架：$ \min_{\mathbf{x}' \in K} \| \mathbf{A} \mathbf{x}' - \mathbf{y} \|_2 $。
• 利用集合 $ K $ 的局部均宽度来量化信号结构的复杂性，并控制估计误差。
• 使用一致偏差不等式和浓度不等式控制集合 $ K \cap tS^{n-1} $ 上 $ \mathbf{A} \mathbf{u} $ 的 $ \ell_1 $-范数，从而实现高概率误差边界。
• 推导出有效信号强度 $ \mu(f) $ 和噪声水平 $ \sigma(f) $，用以将非线性模型表征为具有缩放和噪声观测的线性模型。

实验结果

研究问题

• RQ1 广义Lasso在非线性观测下是否能获得理论支持，即使非线性性未知或不连续？
• RQ2 K-Lasso的性能在多大程度上依赖于信号集合 $ K $ 的结构，特别是其局部均宽度？
• RQ3 能否将1-bit压缩感知的理论保证扩展到测量矩阵协方差未知的情形？
• RQ4 在非高斯测量矩阵（尤其是次高斯设计）下，这些结果在多大程度上仍然成立？
• RQ5 当单指数模型仅近似成立时，K-Lasso对模型误设的鲁棒性如何？

主要发现

• 具有非线性观测的广义Lasso在行为上近似于具有有效信号强度 $ \mu(f) $ 和噪声水平 $ \sigma(f) $ 的带噪线性模型，其中 $ \mu(f) $ 和 $ \sigma(f) $ 依赖于非线性函数 $ f $。
• 估计误差由信号集合 $ K $ 的局部均宽度控制，从而对信号结构与误差之间的权衡提供了精确刻画。
• 对于协方差未知的1-bit压缩感知，本文首次在一般信号结构下提供了理论精度保证，采用 $ K $-Lasso 框架。
• 即使非线性函数 $ f $ 是不连续的、非单射的或完全未知的，只要其在观测间独立同分布，理论结果依然成立。
• 结果对测量矩阵中的未知协方差具有鲁棒性，这是对以往研究中要求已知或估计协方差的重要推广。
• 在次高斯测量矩阵下，理论预计仍成立，但需额外引入一个随信号不那么稀疏而消失的误差项。