[论文解读] Robust Decoding from 1-Bit Compressive Sampling with Least Squares

Jian Huang, Yuling Jiao+2 more|arXiv (Cornell University)|Nov 3, 2017

Sparse and Compressive Sensing Techniques参考文献 39被引用 4

一句话总结

该论文提出了一种最小二乘方法，用于在存在噪声和符号翻转条件下从1-bit压缩感知测量中鲁棒地恢复信号。理论分析表明，对于过定情形（m > n），普通最小二乘法（OLS）以及对于欠定、稀疏情形（m < n, ‖x*‖₀ = s）的ℓ₁-正则化最小二乘法，均能以高概率恢复出与真实信号相差一个比例因子的解，所需样本复杂度分别为𝒪̃(n/δ²)和𝒪(s log n / δ²)。一种新颖的原始-对偶活动集（PDAS）算法通过在每一步在活动集上求解小型最小二乘问题，实现了单步收敛，从而确保了高效率和鲁棒性。

ABSTRACT

In 1-bit compressive sensing (1-bit CS) where target signal is coded into a binary measurement, one goal is to recover the signal from noisy and quantized samples. Mathematically, the 1-bit CS model reads: $y = η\odot extrm{sign} (Ψx^* + ε)$, where $x^{*}\in \mathcal{R}^{n}, y\in \mathcal{R}^{m}$, $Ψ\in \mathcal{R}^{m imes n}$, and $ε$ is the random error before quantization and $η\in \mathcal{R}^{n}$ is a random vector modeling the sign flips. Due to the presence of nonlinearity, noise and sign flips, it is quite challenging to decode from the 1-bit CS. In this paper, we consider least squares approach under the over-determined and under-determined settings. For $m&gt;n$, we show that, up to a constant $c$, with high probability, the least squares solution $x_{ extrm{ls}}$ approximates $ x^*$ with precision $δ$ as long as $m \geq\widetilde{\mathcal{O}}(\frac{n}{δ^2})$. For $m&lt; n$, we prove that, up to a constant $c$, with high probability, the $\ell_1$-regularized least-squares solution $x_{\ell_1}$ lies in the ball with center $x^*$ and radius $δ$ provided that $m \geq \mathcal{O}( \frac{s\log n}{δ^2})$ and $\|x^*\|_0 := s &lt; m$. We introduce a Newton type method, the so-called primal and dual active set (PDAS) algorithm, to solve the nonsmooth optimization problem. The PDAS possesses the property of one-step convergence. It only requires to solve a small least squares problem on the active set. Therefore, the PDAS is extremely efficient for recovering sparse signals through continuation. We propose a novel regularization parameter selection rule which does not introduce any extra computational overhead. Extensive numerical experiments are presented to illustrate the robustness of our proposed model and the efficiency of our algorithm.

研究动机与目标

• 开发一种鲁棒的1-bit压缩感知解码方法，以处理噪声、符号翻转和量化非线性问题。
• 在高概率下，为过定（m > n）和欠定（m < n）情形建立理论恢复保证。
• 设计一种高效优化算法，以处理1-bit CS中出现的非光滑ℓ₁-正则化最小二乘问题。
• 提出一种新颖的正则化参数选择规则，且不引入额外计算成本。
• 通过大量数值实验，验证所提模型与算法的鲁棒性与高效性。

提出的方法

• 对过定情形（m > n）使用普通最小二乘法（LS），通过最小化经验风险∑(yᵢ − ψᵢᵀx)²/m。
• 对欠定、稀疏情形（m < n, ‖x*‖₀ = s）应用ℓ₁-正则化最小二乘法，通过最小化目标函数(1/m)‖Ψx − y‖₂² + λ‖x‖₁。
• 提出原始-对偶活动集（PDAS）算法，该算法在每一步于活动集上求解一个小的最小二乘问题。
• 采用具有单步收敛特性的牛顿型方法，显著降低计算成本。
• 基于理论边界推导出一种新颖的正则化参数选择规则，避免额外计算。
• 利用概率浓度不等式和随机矩阵理论，在Ψ和ε服从次高斯与次高斯分布的假设下，推导出样本复杂度边界。

实验结果

研究问题

• RQ1 普通最小二乘法是否能在存在噪声和符号翻转的情况下，即使信号为稠密，也能实现准确的信号恢复？
• RQ2 ℓ₁-正则化最小二乘法在何种样本量下能以高概率从1-bit测量中恢复出稀疏信号？
• RQ3 能否为1-bit CS中出现的非光滑ℓ₁-正则化最小二乘问题设计一种快速且全局收敛的算法？
• RQ4 如何在不引入计算开销的前提下，高效选择正则化参数？
• RQ5 在δ、n、s和m的条件下，恢复误差的理论保证是什么？

主要发现

• 对于过定情形（m > n），若m ≥ 𝒪̃(n/δ²)，则最小二乘解x_ls以高概率近似x*，其误差不超过δ，且仅相差一个比例因子c。
• 对于欠定、稀疏情形（m < n, ‖x*‖₀ = s），若m ≥ 𝒪(s log n / δ²)，则ℓ₁-正则化最小二乘解x_ℓ₁以高概率位于以x*为中心、半径为δ的球内。
• PDAS算法通过在活动集上求解小型最小二乘问题，实现了单步收敛，因此在稀疏信号恢复中具有极高效率。
• 所提出的正则化参数选择规则计算高效，且在求解优化问题之外不引入额外成本。
• 理论分析表明，在适当条件下，恢复误差以O(√s / √m)的速率衰减，且显式依赖于协方差矩阵Σ的条件数。
• 数值实验验证了该方法在各种噪声和符号翻转水平下的鲁棒性，并表明其效率优于现有的一阶方法和贪婪方法。