[论文解读] Robustness to unknown error in sparse regularization

Simone Brugiapaglia, Ben Adcock|arXiv (Cornell University)|May 29, 2017

Sparse and Compressive Sensing Techniques参考文献 30被引用 3

一句话总结

该论文在无需事先知晓噪声水平的前提下，为压缩感知中的二次约束基追踪（QCBP）建立了鲁棒性保证。通过引入基于商和鲁棒实例最优性的抽象框架，作者证明了当使用随机高斯矩阵和重尾矩阵（包括有界正交系统中的矩阵）时，QCBP在未知误差下仍保持稳定和鲁棒，且显式误差界按 $\mathcal{O}(\sqrt{m/N})$ 缩放。这解决了实践与现有分析之间的一项关键理论鸿沟。

ABSTRACT

Quadratically-constrained basis pursuit has become a popular device in sparse regularization; in particular, in the context of compressed sensing. However, the majority of theoretical error estimates for this regularizer assume an a priori bound on the noise level, which is usually lacking in practice. In this paper, we develop stability and robustness estimates which remove this assumption. First, we introduce an abstract framework and show that robust instance optimality of any decoder in the noise-aware setting implies stability and robustness in the noise-blind setting. This is based on certain sup-inf constants referred to as quotients, strictly related to the quotient property of compressed sensing. We then apply this theory to prove the robustness of quadratically-constrained basis pursuit under unknown error in the cases of random Gaussian matrices and of random matrices with heavy-tailed rows, such as random sampling matrices from bounded orthonormal systems. We illustrate our results in several cases of practical importance, including subsampled Fourier measurements and recovery of sparse polynomial expansions.

研究动机与目标

• 弥合QCBP在实践中的鲁棒性与现有分析中假设已知噪声水平之间的理论差距。
• 在缺乏先验误差边界的情况下，建立分析稀疏恢复稳定性和鲁棒性的通用框架。
• 在随机高斯矩阵和重尾传感矩阵中，为未知误差下的QCBP建立定量误差界。
• 在子采样傅里叶测量和稀疏多项式恢复等实际场景中验证理论。

提出的方法

• 引入一个抽象框架，通过上确界-下确界常数（商）将噪声感知设置下的鲁棒实例最优性与噪声盲设置下的稳定性和鲁棒性联系起来。
• 定义并分析商性质，该性质推广了限制等距性质，是鲁棒性分析的核心。
• 将该框架应用于随机高斯矩阵以及具有重尾行的矩阵（如来自有界正交系统的矩阵）。
• 利用集中不等式和尾部界控制归一化Christoffel函数偏离1的程度，确保畸变有界。
• 推导出在未知误差下QCBP的显式误差界，显示当 $m \ll N$ 时，误差界按 $\mathcal{O}(\sqrt{m/N})$ 衰减。
• 采用联合界和反正弦估计控制随机矩阵行范数大偏差的概率。

实验结果

研究问题

• RQ1 在压缩感知中，是否可以在不假设已知噪声水平边界的情况下保证QCBP的鲁棒性？
• RQ2 商和商性质如何与噪声盲设置下稀疏恢复的稳定性相关？
• RQ3 当传感矩阵具有重尾行（如傅里叶采样中）时，能否为QCBP导出误差界？
• RQ4 在未知误差下，QCBP的性能如何随测量数 $m$ 和信号维数 $N$ 变化？
• RQ5 该理论框架能否应用于子采样傅里叶测量和稀疏多项式展开等实际情形？

主要发现

• 论文证明了在噪声感知设置下鲁棒实例最优性可通过基于商的分析，推出在噪声盲设置下的稳定性和鲁棒性。
• 对于随机高斯矩阵，QCBP在未知误差下实现了误差界按 $\mathcal{O}(\sqrt{m/N})$ 缩放的鲁棒恢复。
• 对于具有重尾行的矩阵（如来自有界正交系统的矩阵），同样建立了 $\mathcal{O}(\sqrt{m/N})$ 的误差衰减。
• 为畸变项 $\xi$ 推导出显式界，表明在适当的 $N$ 和 $m$ 条件下有 $\xi \leq 9m\sqrt{\varepsilon/\pi}$。
• 该框架适用于实际场景，包括部分傅里叶测量和稀疏多项式恢复，数值结果证实即使 $\|\mathbf{e}\|_2$ 未知，其鲁棒性依然成立。
• 分析表明，即使在事先未知噪声水平的情况下，恢复误差仍保持有界，并随 $m$ 增加而衰减。