[论文解读] Regularizers for Structured Sparsity

Charles A. Micchelli, Jean M. Morales+1 more|arXiv (Cornell University)|Oct 4, 2010

Sparse and Compressive Sensing Techniques参考文献 24被引用 6

一句话总结

本文提出了一类凸惩罚函数，通过整合关于回归系数稀疏模式的先验知识，在线性回归中实现结构化稀疏性。该方法基于ℓ₁范数与凸集Λ的下确界卷积构造惩罚函数，实现了高效的优化，并在存在结构化稀疏性时相比Lasso提升了估计精度。

ABSTRACT

We study the problem of learning a sparse linear regression vector under additional conditions on the structure of its sparsity pattern. This problem is relevant in machine learning, statistics and signal processing. It is well known that a linear regression can benefit from knowledge that the underlying regression vector is sparse. The combinatorial problem of selecting the nonzero components of this vector can be "relaxed" by regularizing the squared error with a convex penalty function like the $\ell_1$ norm. However, in many applications, additional conditions on the structure of the regression vector and its sparsity pattern are available. Incorporating this information into the learning method may lead to a significant decrease of the estimation error. In this paper, we present a family of convex penalty functions, which encode prior knowledge on the structure of the vector formed by the absolute values of the regression coefficients. This family subsumes the $\ell_1$ norm and is flexible enough to include different models of sparsity patterns, which are of practical and theoretical importance. We establish the basic properties of these penalty functions and discuss some examples where they can be computed explicitly. Moreover, we present a convergent optimization algorithm for solving regularized least squares with these penalty functions. Numerical simulations highlight the benefit of structured sparsity and the advantage offered by our approach over the Lasso method and other related methods.

研究动机与目标

• 为解决标准Lasso在高维回归中处理结构化稀疏模式的局限性。
• 开发一种可计算的凸正则化框架，以编码非零回归系数结构的先验知识。
• 在保持稀疏模式选择理论保证的同时，实现结构化稀疏性的高效优化。
• 证明结构化稀疏性相比标准Lasso和组Lasso方法可实现更低的估计误差。

提出的方法

• 提出一种基于ℓ₁范数与凸集Λ的下确界卷积的惩罚函数Ω(β|Λ)，用于编码|β|的结构先验知识。
• 该惩罚函数表述为Ω(β|Λ) = inf{½∑(βᵢ²/λᵢ + λᵢ) : λ ∈ Λ}，推广了ℓ₁范数，促进结构化稀疏性。
• 采用交替优化算法求解正则化最小二乘问题，在紧致性和严格凸性假设下保证收敛。
• 通过最优λ(β)推导Ω(β|Λ)的偏导数，支持基于梯度的优化。
• 证明当|β| ∈ Λ时，Ω(β|Λ)等于ℓ₁范数，否则更大，从而偏好结构化稀疏性。
• 将该方法应用于多种结构化稀疏模型，包括单调性和基于组的模式，并在特定情况下给出显式计算。

实验结果

研究问题

• RQ1 能否设计一种凸惩罚函数，以编码回归系数中任意的结构化稀疏模式？
• RQ2 如何将关于非零系数形状或分组的先验知识整合进凸优化框架？
• RQ3 当存在结构化稀疏性时，所提方法是否在估计精度上优于Lasso或组Lasso？
• RQ4 所提惩罚函数的理论性质是什么？如何实现高效优化？
• RQ5 交替优化算法在何种条件下收敛至全局最小值？

主要发现

• 所提惩罚函数Ω(β|Λ)推广了ℓ₁范数，通过偏好|β|属于预设凸集Λ的回归向量β，实现结构化稀疏性。
• 当|β| ∈ Λ时，惩罚函数Ω(β|Λ)精确简化为ℓ₁范数，保持Lasso的稀疏促进特性。
• 该惩罚函数是凸的，且几乎处处连续可微，支持通过基于梯度的方法实现高效优化。
• 数值模拟表明，在结构化稀疏性设置下，该方法的估计误差低于Lasso和组Lasso。
• 在紧致性和严格凸性等温和条件下，交替算法收敛至唯一全局最小值。
• 该方法成功将辅助变量λ的稀疏结构传递至回归向量β，确保解满足期望的稀疏模式。