[论文解读] Simple Bounds for Noisy Linear Inverse Problems with Exact Side Information

Samet Oymak, Christos Thrampoulidis+1 more|arXiv (Cornell University)|Dec 2, 2013

Sparse and Compressive Sensing Techniques参考文献 38被引用 16

一句话总结

本文在已知精确辅助信息（即凸结构诱导函数 $ f(\mathbf{x}_0) $ 的值或噪声的 $ \ell_2 $-范数 $ \|\mathbf{z}\| $）的前提下，为带噪线性反问题提供了精确的非渐近误差界。结果表明，在高斯测量下，重构误差的尺度由信号的稀疏性（通过信号在 $ \mathbf{x}_0 $ 处切锥的高斯宽度衡量）决定，而非噪声的环境维度，从而显著提升了使用 Lasso 或 SOCP 结合辅助信息时对结构化信号（如稀疏向量）的估计精度。

ABSTRACT

This paper considers the linear inverse problem where we wish to estimate a structured signal $x$ from its corrupted observations. When the problem is ill-posed, it is natural to make use of a convex function $f(\cdot)$ that exploits the structure of the signal. For example, $\ell_1$ norm can be used for sparse signals. To carry out the estimation, we consider two well-known convex programs: 1) Second order cone program (SOCP), and, 2) Lasso. Assuming Gaussian measurements, we show that, if precise information about the value $f(x)$ or the $\ell_2$-norm of the noise is available, one can do a particularly good job at estimation. In particular, the reconstruction error becomes proportional to the "sparsity" of the signal rather than the ambient dimension of the noise vector. We connect our results to existing works and provide a discussion on the relation of our results to the standard least-squares problem. Our error bounds are non-asymptotic and sharp, they apply to arbitrary convex functions and do not assume any distribution on the noise.

研究动机与目标

• 推导在精确辅助信息下，带噪线性反问题中结构化信号估计的非渐近、精确误差界。
• 将现有关于 $ \ell_1 $-正则化恢复（Lasso）的结果推广至任意凸结构诱导函数 $ f(\cdot) $。
• 表明估计误差依赖于在 $ \mathbf{x}_0 $ 处函数切锥的高斯宽度，而非噪声的环境维度。
• 证明当存在辅助信息时，重构误差随信号稀疏性变化，而非随噪声维度变化。

提出的方法

• 构建两个凸优化问题：已知 $ f(\mathbf{x}_0) $ 的 Lasso 与已知 $ \|\mathbf{z}\| $ 的 SOCP，均利用精确辅助信息。
• 使用切锥与单位 $ \ell_2 $-球面交集的高斯宽度 $ \omega(\mathcal{C}) $ 来刻画估计误差。
• 应用测度集中与高斯过程技术，将误差界表示为 $ \omega(\mathcal{C} \cap \mathcal{B}^{n-1}) $ 的函数，其中 $ \mathcal{C} $ 为 $ \mathbf{x}_0 $ 处的切锥。
• 通过尾部不等式推导误差的概率界，假设 $ \mathbf{A} $ 的元素为 i.i.d. $ \mathcal{N}(0, 1/m) $。
• 引入基于投影至噪声与信号子空间的误差几何分解，并通过集中与对称性论证界定了各项误差。
• 引入一个关键引理，表明某一误差差值项以高概率非负，从而确保最终界紧致。

实验结果

研究问题

• RQ1 当已知 $ f(\mathbf{x}_0) $ 或 $ \|\mathbf{z}\| $ 的精确辅助信息时，即使对于非稀疏或非 $ \ell_1 $-结构信号，Lasso 和 SOCP 的性能是否可显著提升？
• RQ2 能否推导出依赖于切锥高斯宽度而非环境维度的精确、非渐近误差界？
• RQ3 这些界在小样本量和低稀疏度水平下是否仍保持紧致与准确？
• RQ4 与无此类知识的标准 Lasso 或 SOCP 相比，引入精确辅助信息如何降低估计误差？
• RQ5 该分析能否推广至 $ \ell_1 $-范数之外的任意凸函数 $ f(\cdot) $？

主要发现

• 对于已知 $ f(\mathbf{x}_0) $ 的 Lasso 与已知 $ \|\mathbf{z}\| $ 的 SOCP，重构误差被界于 $ \mathcal{O}(\omega(\mathcal{C} \cap \mathcal{B}^{n-1})) $ 之内，其中 $ \mathcal{C} $ 为 $ \mathbf{x}_0 $ 处的切锥，且该界与环境噪声维度无关。
• 误差界随信号稀疏性变化，其尺度由切锥的高斯宽度决定，而非噪声分量的数量。
• 对于 $ f(\cdot) = \|\cdot\|_1 $ 的稀疏信号，误差与 $ \|\mathbf{z}\| $ 成正比，与已知结果一致，但现以精确常数与非渐近保证得到证明。
• 该界为非渐近界，且在 i.i.d. 高斯测量下，以高概率 $ 1 - \frac{5}{2}\exp(-t^2/26) $ 成立，即使 $ m $ 与 $ n $ 较小亦成立。
• 分析表明，辅助信息带来的误差减少具有几何可量化性，关键项 $ \kappa_2 - \kappa_1 - \kappa_3 \geq 0 $ 以高概率成立。
• 所导出的界为紧致界，且不假设噪声服从特定分布，仅要求子高斯尾部，因此具有鲁棒性与广泛适用性。