[论文解读] Structured signal recovery from non-linear and heavy-tailed measurements

Larry Goldstein, Stanislav Minsker+1 more|arXiv (Cornell University)|Sep 5, 2016

Sparse and Compressive Sensing Techniques参考文献 28被引用 11

一句话总结

该论文提出了一种鲁棒且低复杂度的估计器，用于从非线性、重尾测量中恢复结构化信号，采用通用链技术。在椭球对称设计下，建立了估计误差的指数集中不等式，当信号位于低复杂度集合中时，即使在任意非线性及重尾噪声下，也能实现最优速率。

ABSTRACT

We study high-dimensional signal recovery from non-linear measurements with design vectors having elliptically symmetric distribution. Special attention is devoted to the situation when the unknown signal belongs to a set of low statistical complexity, while both the measurements and the design vectors are heavy-tailed. We propose and analyze a new estimator that adapts to the structure of the problem, while being robust both to the possible model misspecification characterized by arbitrary non-linearity of the measurements as well as to data corruption modeled by the heavy-tailed distributions. Moreover, this estimator has low computational complexity. Our results are expressed in the form of exponential concentration inequalities for the error of the proposed estimator. On the technical side, our proofs rely on the generic chaining methods, and illustrate the power of this approach for statistical applications. Theory is supported by numerical experiments demonstrating that our estimator outperforms existing alternatives when data is heavy-tailed.

研究动机与目标

• 解决测量非线性且受重尾噪声污染时的高维信号恢复挑战。
• 设计一种对模型误设（任意非线性）和重尾分布具有鲁棒性的估计器，且无需假设子高斯性。
• 通过利用信号结构（如稀疏性、低秩性）实现低计算复杂度下的最优统计性能。
• 在一般椭球对称设计分布下，提供估计误差的非渐近指数尾部界。
• 将先前线性模型的结果推广至非线性设置，同时保持对信号结构的鲁棒性和自适应性。

提出的方法

• 提出一种新估计器，通过最小化带结构化惩罚（如ℓ₁范数或核范数）的最小二乘损失，以促进低复杂度信号。
• 使用通用链技术控制由估计误差引发的随机过程的上确界，从而实现高概率集中界。
• 应用伯恩斯坦型不等式处理误差分解中的次高斯和次指数分量，特别是噪声项和设计向量项。
• 将链式论证分解为三个索引集（I₁, I₂, I₃），以分别控制过程的不同尺度，每类均需定制化的集中界。
• 利用高斯均宽ω(T)和下降锥D(Θ, θ*)量化信号集Θ的统计复杂度。
• 建立关键不等式（39），表明估计误差以高概率被C(γ₂(T) + Δ_d(T))β / √m所界定，其中γ₂(T)为通用链泛函。

实验结果

研究问题

• RQ1 当测量非线性且噪声为重尾时，能否在高维信号恢复中实现最优估计误差速率？
• RQ2 如何设计一种估计器，对测量模型中的任意非线性具有鲁棒性，且无需知晓链接函数？
• RQ3 通用链技术在多大程度上可用于推导非高斯、重尾设计下结构化信号恢复的精确集中不等式？
• RQ4 所提出的估计器在重尾数据存在下，是否能保持低计算复杂度并实现最优统计速率？
• RQ5 理论保证能否从子高斯噪声推广至具有重尾的一般椭球对称分布？

主要发现

• 所提出的估计器在高概率下实现估计误差围绕真实信号的指数集中，其界为C(γ₂(T) + Δ_d(T))β / √m。
• 误差界与信号集的高斯均宽ω(T)和直径Δ_d(T)成比例，反映了信号结构的统计复杂度。
• 即使链接函数f为任意函数且噪声为重尾，该方法对结构化信号（如稀疏、低秩）仍能实现最优速率。
• 数值实验表明，该估计器在重尾环境下优于现有方法，验证了其鲁棒性。
• 理论分析依赖于通用链和伯恩斯坦型不等式，展示了这些工具在非渐近统计学习中的强大作用。
• 结果推广了先前关于线性模型的工作，表明在椭球对称下，非线性可被视为一种鲁棒噪声形式，无需估计链接函数。