[论文解读] Truncated Sparse Approximation Property and Truncated $q$-Norm Minimization

Wengu Chen, Peng Li|arXiv (Cornell University)|Jun 28, 2018

Sparse and Compressive Sensing Techniques参考文献 47被引用 5

一句话总结

本文引入截断稀疏逼近性质（TSAP）作为广义的鲁棒零空间性质，以确保在噪声测量下通过截断 $q$-范数最小化实现对近似稀疏信号和低秩矩阵的稳定恢复。研究证明，当 $δ_{tk} < \sqrt{(t-1)/t}$ 且 $t \geq 4/3$ 时，TSAP 由限制等距性质（RIP）所蕴含，并在 $l_p$-有界和 Dantzig 选择器噪声模型下建立了稳定恢复的误差界，且给出了明确的误差估计。

ABSTRACT

This paper considers approximately sparse signal and low-rank matrix's recovery via truncated norm minimization $\min_{x}\|x_T\|_q$ and $\min_{X}\|X_T\|_{S_q}$ from noisy measurements. We first introduce truncated sparse approximation property, a more general robust null space property, and establish the stable recovery of signals and matrices under the truncated sparse approximation property. We also explore the relationship between the restricted isometry property and truncated sparse approximation property. And we also prove that if a measurement matrix $A$ or linear map $\mathcal{A}$ satisfies truncated sparse approximation property of order $k$, then the first inequality in restricted isometry property of order $k$ and of order $2k$ can hold for certain different constants $\delta_{k}$ and $\delta_{2k}$, respectively. Last, we show that if $\delta_{t(k+|T^c|)}<\sqrt{(t-1)/t}$ for some $t\geq 4/3$, then measurement matrix $A$ and linear map $\mathcal{A}$ satisfy truncated sparse approximation property of order $k$. Which should point out is that when $T^c=\emptyset$, our conclusion implies that sparse approximation property of order $k$ is weaker than restricted isometry property of order $tk$.

研究动机与目标

• 建立用于从噪声测量中稳定恢复可压缩信号和低秩矩阵的鲁棒零空间性质框架。
• 定义并分析截断稀疏逼近性质（TSAP），作为零空间性质和限制等距性质的推广。
• 推导TSAP成立的充分条件，特别是将其与限制等距性质（RIP）及其特定RIP常数界联系起来。
• 利用截断 $q$-范数最小化，为 $l_p$-有界和 Dantzig 选择器噪声模型提供稳定恢复误差界。

提出的方法

• 提出结合 $l_p$-范数和 Dantzig 选择器约束的截断稀疏逼近性质（TSAP），用于信号与矩阵恢复。
• 通过常数 $β$、$D$ 和噪声项，定义TSAP为对误差向量的 $k$-稀疏逼近的 $l_q$-范数的有界性。
• 推导出测量矩阵 $A$ 满足TSAP的条件，表明当 $\delta_{tk} < \sqrt{(t-1)/t}$ 且 $t \geq 4/3$ 时，$A$ 满足 $k$ 阶TSAP。
• 证明：若 $A$ 满足TSAP，则在 $l_p$-有界和 Dantzig 选择器噪声模型下，通过截断 $q$-范数最小化可保证稳定恢复。
• 证明TSAP严格弱于 $tk$ 阶RIP，且当 $T^c = \emptyset$ 时，经典稀疏逼近性质被蕴含，即在标准稀疏情况下成立。
• 将理论应用于推导 $l_2$-范数下的显式误差界，适用于 $l_2$-有界和 Dantzig 选择器噪声模型，其依赖于 $\sigma_k(x)_1/\sqrt{k}$ 和噪声水平。

实验结果

研究问题

• RQ1 能否定义并使用截断稀疏逼近性质（TSAP）来确保在噪声测量下对可压缩信号和低秩矩阵的稳定恢复？
• RQ2 TSAP 与限制等距性质（RIP）有何关系？在何种RIP条件下可保证TSAP成立？
• RQ3 能否利用TSAP为 $l_p$-有界和 Dantzig 选择器噪声模型推导出稳定恢复误差界？
• RQ4 TSAP 是否严格弱于RIP？当 $T^c = \emptyset$ 时，它是否能恢复已知结果作为特例？
• RQ5 TSAP 框架能否推广至低秩矩阵恢复？与现有零空间性质相比，是否能提供更优的恢复保证？

主要发现

• 若测量矩阵 $A$ 满足 $tk$ 阶的限制 2-等距性质且 $δ_{tk} < \sqrt{(t-1)/t}$（$t \geq 4/3$），则 $A$ 满足 $k$ 阶的截断稀疏逼近性质。
• $\u006c_2$-鲁棒零空间性质和 Dantzig 选择器稀疏逼近性质 $k$ 阶由 TSAP 所蕴含，且严格弱于 $tk$ 阶的限制 2-等距性质。
• 对于 $l_2$-有界噪声且 $\|z\|_2 \leq \varepsilon$，最小化器 $\hat{x}_{\ell_2}$ 的误差界为 $\|\hat{x}_{\ell_2} - x\|_2 \leq C_1(\varepsilon + \eta) + C_2 \sigma_k(x)_1 / \sqrt{k}$，其中 $C_1$ 和 $C_2$ 是 $δ$ 和 $t$ 的显式函数。
• 对于 Dantzig 选择器噪声且 $\|A^*z\|_\infty \leq \varepsilon$，$\hat{x}_{DS}$ 的误差界为 $\|\hat{x}_{DS} - x\|_2 \leq C_3(\varepsilon + \eta) + C_4 \sigma_k(x)_1 / \sqrt{k}$，其中 $C_3$ 和 $C_4$ 依赖于 $δ$ 和 $t$。
• 当 $T^c = \emptyset$ 时，$l_2$-鲁棒和 Dantzig 选择器版本的 TSAP 严格弱于 $tk$ 阶的限制 2-等距性质，表明存在条件的层级关系。
• 结果推广了 [9, 定理 2.1] 和 [37, 定理 1.1] 中的已知界，误差估计形式相同但常数不同，与先前工作保持一致。