[论文解读] Pinball Loss Minimization for One-bit Compressive Sensing.

Xiaolin Huang, Lei Shi+2 more|arXiv (Cornell University)|May 14, 2015

Sparse and Compressive Sensing Techniques参考文献 29被引用 4

一句话总结

本文提出使用pinball损失作为一种桥梁，连接hinge损失与线性损失，在一比特压缩感知（1bit-CS）中，引入了两种模型——已知稀疏度下的pinball损失迭代硬阈值算法，以及未知稀疏度下的弹性网络pinball支持向量机——并提出了高效的算法。在存在噪声的一比特测量场景下，pinball损失通过在鲁棒性与精度之间取得平衡，提升了重建精度。

ABSTRACT

The one-bit quantization can be implemented by one single comparator, which operates at low power and a high rate. Hence one-bit compressive sensing (\emph{1bit-CS}) becomes very attractive in signal processing. When the measurements are corrupted by noise during signal acquisition and transmission, 1bit-CS is usually modeled as minimizing a loss function with a sparsity constraint. The existing loss functions include the hinge loss and the linear loss. Though 1bit-CS can be regarded as a binary classification problem because a one-bit measurement only provides the sign information, the choice of the hinge loss over the linear loss in binary classification is not true for 1bit-CS. Many experiments show that the linear loss performs better than the hinge loss for 1bit-CS. Motivated by this observation, we consider the pinball loss, which provides a bridge between the hinge loss and the linear loss. Using this bridge, two 1bit-CS models and two corresponding algorithms are proposed. Pinball loss iterative hard thresholding improves the performance of the binary iterative hard theresholding proposed in [6] and is suitable for the case when the sparsity of the true signal is given. Elastic-net pinball support vector machine generalizes the passive model proposed in [11] and is suitable for the case when the sparsity of the true signal is not given. A fast dual coordinate ascent algorithm is proposed to solve the elastic-net pinball support vector machine problem, and its convergence is proved. The numerical experiments demonstrate that the pinball loss, as a trade-off between the hinge loss and the linear loss, improves the existing 1bit-CS models with better performances.

研究动机与目标

• 解决现有1bit-CS模型依赖hinge或线性损失函数的局限性，这些损失函数在噪声环境中无法最优平衡鲁棒性与精度。
• 通过引入更具灵活性的损失函数，克服hinge损失在1bit-CS中尽管在二值分类中广受欢迎但性能欠佳的问题。
• 构建一个统一框架，适应1bit-CS中真实信号的已知与未知稀疏度水平。
• 提出具有收敛性保证的高效优化算法，以求解新的1bit-CS模型。
• 证明pinball损失作为hinge损失与线性损失之间的权衡，可在实际中实现更优的重建性能。

提出的方法

• 提出pinball损失作为一种连续、可微的损失函数，可在hinge损失与线性损失之间插值，从而在1bit-CS中实现更优的权衡。
• 为已知信号稀疏度的1bit-CS开发pinball损失迭代硬阈值（PL-IHT）算法，结合迭代阈值与pinball损失最小化。
• 为未知稀疏度的1bit-CS构建弹性网络pinball支持向量机（EN-P-SVM）模型，引入组lasso正则化以促进结构化稀疏性。
• 设计一种快速对偶坐标上升算法求解EN-P-SVM问题，并提供收敛性的理论证明。
• 通过在稀疏性约束下将测量建模为符号约束并最小化损失，将pinball损失整合到1bit-CS框架中。
• 利用pinball损失中可调的分位数参数，调节对异常值的敏感度，提升在噪声测量条件下的鲁棒性。

实验结果

研究问题

• RQ1 在噪声条件下，pinball损失能否作为比hinge损失或线性损失更有效的损失函数应用于一比特压缩感知？
• RQ2 基于pinball损失的1bit-CS模型在重建精度方面，与使用hinge或线性损失的现有模型相比表现如何？
• RQ3 在高维稀疏信号恢复中，pinball损失能否在1bit-CS中被有效优化，并具备可证明的收敛性？
• RQ4 当稀疏度未知时，弹性网络pinball支持向量机模型是否优于[11]中的被动模型？
• RQ5 所提出的算法是否能实现比现有迭代硬阈值或基于SVM的方法更快的收敛速度与更优的重建质量？

主要发现

• 在1bit-CS中，pinball损失在重建性能上优于hinge损失与线性损失，尤其在噪声测量环境中表现更优。
• 已知真实信号稀疏度时，pinball损失迭代硬阈值（PL-IHT）算法优于[6]中的二值迭代硬阈值方法。
• 弹性网络pinball支持向量机模型在信号稀疏度未知时，推广了[11]中的被动模型，并展现出更优性能。
• 为弹性网络pinball SVM设计的对偶坐标上升算法具有全局收敛性，且提供了理论收敛保证。
• 数值实验验证，pinball损失在hinge损失与线性损失之间实现了有效权衡，显著提升了各类信号模型下的重建精度。
• pinball损失模型对测量噪声表现出鲁棒性，并在低信噪比条件下仍能保持高恢复保真度。