[论文解读] Non-Gaussian Observations in Nonlinear Compressed Sensing via Stein Discrepancies

Larry Goldstein, Xiaohan Wei|arXiv (Cornell University)|Sep 27, 2016

Sparse and Compressive Sensing Techniques参考文献 17被引用 3

一句话总结

本文引入Stein差异作为分析非高斯测量下非线性压缩感知的工具，相较于先前工作，实现了更紧的性能界和更宽松的条件。通过衡量对正态性的偏离程度，该框架改进了重尾或偏斜传感分布下非线性模型的信号恢复保证，实现了误差界中明确的小常数，并将高斯和线性传感作为特例恢复。

ABSTRACT

Performance guarantees for compression in nonlinear models under non-Gaussian observations can be achieved through the use of distributional characteristics that are sensitive to the distance to normality, and which in particular return the value of zero under Gaussian or linear sensing. The use of these characteristics, or discrepancies, improves some previous results in this area by relaxing conditions and tightening performance bounds. In addition, these characteristics are tractable to compute when Gaussian sensing is corrupted by either additive errors or mixing.

研究动机与目标

• 解决测量偏离高斯性时非线性压缩感知的性能保证问题。
• 克服先前工作中在非高斯传感下存在的局限性——如界不紧、强光滑性假设以及稀疏性相关问题。
• 构建对正态性偏离敏感的框架，可推广至非线性和线性传感模型。
• 在恢复误差界中提供显式且较小的常数，相较于先前结果在紧度与可计算性方面有所改进。
• 通过利用与正态性偏离相关的分布特性，实现对一般传感分布下的信号重构。

提出的方法

• 引入Stein差异作为传感分布与标准正态分布之间距离的度量，在高斯或线性传感下该差异值为零。
• 利用Stein系数和零偏耦合技术刻画传感分布对正态性的偏离程度。
• 基于经验观测定义损失函数 $ L_m( extbf{t}) $ 以估计真实损失 $ L( extbf{t}) $，在紧集 $ K $ 上最小化该函数以恢复 $ extbf{x} $。
• 应用通用链式法与高斯过程技术，通过高斯均宽度 $ ho( ext{K}) $ 有界性，控制以 $ extbf{t} eq extbf{x} $ 索引的经验过程的上确界。
• 通过传感向量分量的 $ oldsymbol{ ho}_2 $-范数控制子高斯与子指数尾部概率，实现对测度集中性的控制。
• 结合Bernstein型不等式与二次型 $ rac{1}{m} orm{ extbf{a}_i^ op extbf{t} }^2 $ 的尾部控制，推导估计误差的高概率界。

实验结果

研究问题

• RQ1 能否通过使用对正态性偏离敏感的分布特性，在非高斯测量下改进非线性压缩感知的性能保证？
• RQ2 Stein差异如何用于收紧误差界并降低对强光滑性或矩假设的依赖？
• RQ3 该框架在多大程度上可将已知的高斯和线性传感结果作为特例恢复？
• RQ4 $ oldsymbol{ ho}_2 $-范数在控制经验损失集中性方面起到何种作用？
• RQ5 能否通过这种基于差异的方法在恢复误差界中推导出显式且较小的常数？

主要发现

• 所提出的框架通过使用Stein差异度量对正态性的偏离，在非高斯测量下实现了非线性压缩感知的性能保证。
• 该方法提供了比先前工作更紧的误差界，且恢复误差中包含显式且较小的常数，相较于先前结果在定量紧度方面有所提升。
• 该框架可将高斯和线性传感模型作为特例恢复，因为在这两种情况下Stein差异值为零。
• 通过使用零偏耦合与Stein系数，即使在非高斯或受损传感（如加性噪声或混合）条件下，也能实现对分布特性的可计算处理。
• 利用通用链式法与Bernstein不等式，结合传感向量分量的 $ oldsymbol{ ho}_2 $-范数控制尾部，推导出估计误差的高概率界。
• 分析表明，估计误差 $ orm{ extbf{x} - extbf{x}_m }_2 $ 以高概率被一个与 $ ho(K) \times \text{Stein差异} \times \frac{1}{\text{样本量}} $ 成比例的项所界定，且常数显式可算。