[论文解读] Robust iterative hard thresholding for compressed sensing

Esa Ollila, Hyon‐Jung Kim+1 more|arXiv (Cornell University)|May 7, 2014

Sparse and Compressive Sensing Techniques参考文献 7被引用 6

一句话总结

本文提出了一种用于压缩感知的鲁棒迭代硬阈值（RIHT）方法，通过Huber M-估计联合估计稀疏信号与重尾噪声的尺度，在高斯噪声下实现近似最优性能，并在非高斯、重尾或易受异常值影响的噪声条件下显著优于标准IHT和LIHT。

ABSTRACT

Compressed sensing (CS) or sparse signal reconstruction (SSR) is a signal processing technique that exploits the fact that acquired data can have a sparse representation in some basis. One popular technique to reconstruct or approximate the unknown sparse signal is the iterative hard thresholding (IHT) which however performs very poorly under non-Gaussian noise conditions or in the face of outliers (gross errors). In this paper, we propose a robust IHT method based on ideas from $M$-estimation that estimates the sparse signal and the scale of the error distribution simultaneously. The method has a negligible performance loss compared to IHT under Gaussian noise, but superior performance under heavy-tailed non-Gaussian noise conditions.

研究动机与目标

• 解决标准迭代硬阈值（IHT）在非高斯或重尾噪声条件下性能不佳的问题。
• 克服现有鲁棒IHT方法需预先估计尺度参数的局限，实现信号与尺度的同步估计。
• 开发一种鲁棒的稀疏信号恢复算法，在存在异常值和重尾误差分布时仍保持高精度。
• 在高斯噪声下与IHT相比性能下降最小，同时在重尾噪声下显著提升鲁棒性。
• 为实际场景中脉冲噪声存在的情况，提供一种计算高效且稳定的稀疏信号重建方法。

提出的方法

• 采用Huber M-估计替代IHT中的标准最小二乘损失，使用一种对大残差进行降权的鲁棒损失函数。
• 通过迭代优化框架，同时估计稀疏信号向量 $\mathbf{x}$ 和误差分布的尺度参数 $\sigma$。
• 利用从Huber损失导出的得分函数 $\psi$ 计算IHT算法中的鲁棒梯度更新。
• 在每次迭代中应用硬阈值操作以保持稀疏性，确保解始终保持 $K$-稀疏。
• 对Huber损失函数应用截断阈值 $c$，实验中使用 $c_1 = 1.345$ 和 $c_2 = 0.732$ 以平衡鲁棒性与效率。
• 将优化问题表述为最小化一个Huber正则化的目标函数：$\sum_{i=1}^M \rho\left(\frac{y_i - \boldsymbol{\phi}_i^T \mathbf{x}}{\hat{\sigma}}\right)$，其中 $\rho$ 为Huber损失。

实验结果

研究问题

• RQ1 能否设计一种鲁棒的IHT方法，实现信号与噪声尺度的联合估计，而无需预先估计尺度？
• RQ2 与标准IHT和LIHT相比，所提出的基于Huber的IHT在重尾噪声（如学生t分布）下的表现如何？
• RQ3 在高斯噪声条件下，所提方法与IHT之间的性能差距有多大？
• RQ4 不同的Huber截断阈值（$c_1$, $c_2$）如何影响鲁棒性与重建精度？
• RQ5 在低信噪比（SNR）和重尾噪声条件下，该方法在多大程度上能保持高概率的精确恢复（PER）？

主要发现

• 在柯西噪声（ν=1）下，使用 $c_2 = 0.732$ 的Huber IHT（HIHT）在40 dB SNR时实现了100%的精确恢复概率（PER），而IHT和LIHT在低SNR下完全失效。
• 在20 dB SNR下使用 $t_\nu$ 噪声时，HIHT-$c_2$ 的PER保持在0.82，而IHT和LIHT分别下降至0.70和0.24。
• 在高斯噪声下，HIHT-$c_1$ 的MSE性能仅比标准IHT损失0.2 dB，表明在理想条件下性能下降可忽略。
• 在拉普拉斯噪声下，HIHT-$c_2$ 实现了最佳的MSE性能，相比IHT平均获得1.9 dB的SNR增益，且在20 dB SNR时增益达2.5 dB。
• 在40 dB SNR下，HIHT在所有自由度 $\nu \in [1,5]$ 下均保持约-6.5 dB的稳定MSE，而IHT的MSE随 $\nu$ 减小而迅速恶化。
• LIHT在高斯噪声下出现收敛问题，且在低SNR下表现欠佳，凸显了本文方法中联合估计的优势。