[论文解读] Sparse and Smooth Signal Estimation: Convexification of L0 Formulations

Alper Atamtürk, Andrés Gómez+1 more|arXiv (Cornell University)|Jan 1, 2021

Sparse and Compressive Sensing Techniques被引用 10

一句话总结

该论文提出了一种用于稀疏和平滑信号估计的迭代凸锥二次松弛方法，通过将ℓ₀-范数稀疏性与平滑性约束直接整合到更紧致、更具可解释性的凸优化形式中，直接解决了ℓ₁-松弛方法的局限性。该方法在不到一分钟内即可对多达100,000个变量的问题求得与精确ℓ₀解相差不足1%的解，显著优于标准ℓ₁方法，同时支持仿射稀疏性先验。

ABSTRACT

Signal estimation problems with smoothness and sparsity priors can be naturally modeled as quadratic optimization with $\ell_0$-norm constraints. Since such problems are non-convex and hard-to-solve, the standard approach is, instead, to tackle their convex surrogates based on $\ell_1$-norm relaxations. In this paper, we propose a new iterative (convex) conic quadratic relaxations that exploit not only the $\ell_0$-norm terms, but also the fitness and smoothness functions. The iterative convexification approach substantially closes the gap between the $\ell_0$-norm and its $\ell_1$ surrogate. These stronger relaxations lead to significantly better estimators than $\ell_1$-norm approaches and also allow one to utilize affine sparsity priors. In addition, the parameters of the model and the resulting estimators are easily interpretable. Experiments with a tailored Lagrangian decomposition method indicate that the proposed iterative convex relaxations ev{yield solutions within 1\% of the exact $\ell_0$ approach, and can tackle instances with up to 100,000 variables under one minute.

研究动机与目标

• 弥合非凸ℓ₀-基信号估计与其中凸ℓ₁松弛之间的差距，后者常产生次优解。
• 开发一种凸优化框架，更准确地联合建模稀疏性（ℓ₀-范数）和平滑性约束，优于标准ℓ₁松弛方法。
• 在信号估计中支持仿射稀疏性先验，而这类先验在ℓ₁方法中无法自然支持。
• 通过构建更强的凸松弛形式，更贴近真实的ℓ₀问题，从而提升解的质量与可解释性。
• 设计一种高效算法，能够在一分钟内求解大规模实例（最多100,000个变量），同时保持高解的准确性。

提出的方法

• 将稀疏和平滑信号估计建模为带有ℓ₀-范数约束的二次优化问题，直接捕捉稀疏性和平滑性。
• 引入一种使用锥二次松弛的迭代凸化方法，通过整合拟合度与平滑性函数，收紧ℓ₀-范数的近似。
• 采用定制的拉格朗日分解方法，高效求解由此产生的大规模凸问题。
• 通过迭代精炼逐步改进凸松弛，缩小ℓ₀问题与其凸代理之间的对偶间隙。
• 通过将仿射稀疏性先验直接嵌入优化模型，增强灵活性与可解释性。
• 通过利用凸锥规划结构保持计算效率，实现大规模实例的快速求解。

实验结果

研究问题

• RQ1 能否设计一种凸松弛框架，使其在稀疏和平滑信号估计中比标准ℓ₁松弛更准确地逼近非凸ℓ₀-范数问题？
• RQ2 如何在凸优化框架中联合建模平滑性与稀疏性先验，以提升解的质量？
• RQ3 在实践中，迭代凸化能在多大程度上缩小ℓ₀与ℓ₁解之间的差距？
• RQ4 所提出的方法能否在保持高解精度的同时，高效处理大规模问题（如100,000个变量）？
• RQ5 能否有效将仿射稀疏性先验整合到凸优化框架中用于信号估计？

主要发现

• 所提出的迭代凸锥松弛方法在大规模信号估计问题中，解与精确ℓ₀解的差距在1%以内。
• 该方法成功处理了最多达100,000个变量的实例，通过定制的拉格朗日分解方法在不到一分钟内完成求解。
• 该方法显著优于标准ℓ₁基方法，因其提供了更紧致的松弛，更准确地捕捉了真实的ℓ₀行为。
• 由于显式整合了稀疏性与平滑性结构，模型参数与所得估计器具有良好的可解释性。
• 该框架支持仿射稀疏性先验，而这类先验在传统ℓ₁正则化公式中无法自然容纳。
• 迭代凸化过程有效缩小了ℓ₀与ℓ₁松弛之间的差距，为实现接近最优的ℓ₀解提供了实用路径。