[论文解读] Sparse Recovery via Partial Regularization: Models, Theory and Algorithms

Zhaosong Lu, Xiaorui Li|arXiv (Cornell University)|Nov 23, 2015

Sparse and Compressive Sensing Techniques参考文献 32被引用 6

一句话总结

本文提出了一类部分正则化模型，通过最小化 |r| 个最大绝对值正则项的和来改进稀疏恢复，减少标准 ℓ₁ 正则化固有的偏差。该方法在弱于传统限制等距性质（restricted isometry property）的条件下，确保稀疏解的全局或局部恢复，采用一种一阶可行增广拉格朗日算法，通过具有闭式解的一维子问题高效求解，其在压缩感知和逻辑回归中的表现优于现有方法。

ABSTRACT

In the context of sparse recovery, it is known that most of existing regularizers such as $\ell_1$ suffer from some bias incurred by some leading entries (in magnitude) of the associated vector. To neutralize this bias, we propose a class of models with partial regularizers for recovering a sparse solution of a linear system. We show that every local minimizer of these models is sufficiently sparse or the magnitude of all its nonzero entries is above a uniform constant depending only on the data of the linear system. Moreover, for a class of partial regularizers, any global minimizer of these models is a sparsest solution to the linear system. We also establish some sufficient conditions for local or global recovery of the sparsest solution to the linear system, among which one of the conditions is weaker than the best known restricted isometry property (RIP) condition for sparse recovery by $\ell_1$. In addition, a first-order feasible augmented Lagrangian (FAL) method is proposed for solving these models, in which each subproblem is solved by a nonmonotone proximal gradient (NPG) method. Despite the complication of the partial regularizers, we show that each proximal subproblem in NPG can be solved as a certain number of one-dimensional optimization problems, which usually have a closed-form solution. We also show that any accumulation point of the sequence generated by FAL is a first-order stationary point of the models. Numerical results on compressed sensing and sparse logistic regression demonstrate that the proposed models substantially outperform the widely used ones in the literature in terms of solution quality.

研究动机与目标

• 为解决 ℓ₁ 正则化在稀疏恢复中偏好大数值项而产生的偏差问题。
• 开发一类使用部分正则化器的模型，通过最小化 |x| 的最大 |r| 个条目的和来减少偏差。
• 建立理论条件，确保这些模型能全局或局部恢复最稀疏的解。
• 设计一种具有全局收敛保证的一阶算法，用于求解部分正则化模型。
• 在压缩感知和稀疏逻辑回归中，与现有方法相比，展示出更优的解质量。

提出的方法

• 提出部分正则化模型：在 ||Ax - b|| ≤ σ 约束下最小化 ∑_{i=r+1}^n φ(|x|_{[i]})，其中 |x|_{[i]} 表示 |x| 的第 i 大绝对值条目。
• 使用非单调邻近梯度（NPG）方法求解子问题，每个子问题可简化为有限个具有闭式解的一维优化问题。
• 采用一阶可行增广拉格朗日（FAL）方法求解整体模型，确保收敛至一阶驻点。
• 对 φ 施加假设 1：下确界连续、单调递增，且 φ(0) = 0，以保证理论可处理性。
• 推导出全局和局部恢复最稀疏解的充分条件，包括弱于标准受限等距性质（RIP）的条件。
• 建立 FAL-NPG 算法的全局收敛性，表明每个聚点均为一阶驻点。

实验结果

研究问题

• RQ1 部分正则化能否减少 ℓ₁ 最小化中因扭曲大数值稀疏条目恢复而产生的偏差？
• RQ2 在何种条件下，部分正则化模型能全局恢复线性系统的最稀疏解？
• RQ3 所提模型的恢复条件是否弱于 ℓ₁ 最小化目前最优的 RIP 条件？
• RQ4 该部分正则化模型能否以可证明收敛且计算成本低的方式高效求解？
• RQ5 在压缩感知和逻辑回归等实际应用中，所提模型的解质量与 ℓ₁ 及其他非凸正则化器相比如何？

主要发现

• 当正则化器 φ 满足特定条件时，所提部分正则化模型即使在弱于标准受限等距性质的条件下，也能全局恢复最稀疏解。
• 该模型的每个局部极小值点，要么足够稀疏，要么其所有非零条目在绝对值上均被一个仅依赖于数据矩阵 A 和向量 b 的常数下界所限制。
• FAL-NPG 算法全局收敛至一阶驻点，且每个邻近子问题均可通过有限个具有闭式解的一维优化求解。
• 在压缩感知中，当 r = K（非零条目数量）时，该模型的成功频率更高，相对误差更低，优于 ℓ₁ 和其他非凸正则化器，尤其在 K ≥ 38 时表现更优。
• 数值结果表明，所提模型在稀疏逻辑回归和压缩感知任务中，无论在解质量还是计算效率方面，均优于 ℓ₁ 和其他非凸正则化器。