[论文解读] Structured Variable Selection with Sparsity-Inducing Norms

Rodolphe Jenatton, Jean-Yves Audibert+1 more|arXiv (Cornell University)|Apr 22, 2009

Sparse and Compressive Sensing Techniques参考文献 71被引用 458

一句话总结

本文引入了结构化稀疏性诱导范数，通过允许组间重叠，将 $ε_1$-范数和组 $ε_1$-范数扩展至可建模线性模型中复杂、先验特定的非零系数模式。核心贡献在于建立了一套将组结构与期望的稀疏模式相联系的框架，同时提出了主动集算法及在高维与低维设置下变量选择的理论一致性结果。

ABSTRACT

We consider the empirical risk minimization problem for linear supervised learning, with regularization by structured sparsity-inducing norms. These are defined as sums of Euclidean norms on certain subsets of variables, extending the usual $\ell_1$-norm and the group $\ell_1$-norm by allowing the subsets to overlap. This leads to a specific set of allowed nonzero patterns for the solutions of such problems. We first explore the relationship between the groups defining the norm and the resulting nonzero patterns, providing both forward and backward algorithms to go back and forth from groups to patterns. This allows the design of norms adapted to specific prior knowledge expressed in terms of nonzero patterns. We also present an efficient active set algorithm, and analyze the consistency of variable selection for least-squares linear regression in low and high-dimensional settings.

研究动机与目标

• 为解决标准 $ε_1$-范数正则化忽略变量间结构关系的局限性。
• 开发能通过重叠组结构编码复杂、先验特定的非零模式（如空间、层次或连续结构）的稀疏性诱导范数。
• 建立定义范数的组结构与解中允许的非零模式集合之间的正式关联。
• 设计一种高效主动集算法以求解由此产生的优化问题。
• 分析在最小二乘回归中，使用结构化范数时在低维与高维设置下的变量选择一致性。

提出的方法

• 提出将重叠子集（组）上欧氏范数之和作为结构化范数，推广了 $ε_1$-范数与组 $ε_1$-范数。
• 引入前向与后向算法，实现从组结构到允许的非零模式，以及反向映射，从而基于先验知识设计范数。
• 开发一种主动集算法，通过迭代更新活跃变量集合，高效求解优化问题。
• 利用次微分微积分推导最优性条件，表明解满足涉及范数次梯度的对偶条件。
• 利用对偶范数结构刻画最优性条件，利用不相交范数之和的对偶为各独立对偶范数最大值的性质。
• 将该框架应用于神经影像、人脸识别与基因组学等实际问题，其中结构先验（空间、时间、层次）对性能与可解释性至关重要。

实验结果

研究问题

• RQ1 如何设计稀疏性诱导范数，以在回归模型中编码复杂、先验特定的非零系数模式（如空间局部性或层次关系）？
• RQ2 定义范数的组结构与解中允许的非零系数模式集合之间的确切关系是什么？
• RQ3 能否开发一种高效主动集算法以求解由此产生的结构化稀疏优化问题？
• RQ4 在使用结构化范数时，变量选择在低维与高维设置下的一致性条件是什么？
• RQ5 范数中的重叠组如何影响稀疏模式及估计量的理论性质？

主要发现

• 所提出的结构化范数（定义为重叠组上欧氏范数之和）可显式编码回归解中关于非零模式的复杂先验知识。
• 建立了前向与后向算法，用于在组结构与允许的非零模式之间映射，从而实现基于特定结构先验的范数设计。
• 提出一种主动集算法，通过迭代更新变量活跃集高效求解优化问题，提升计算性能。
• 在设计矩阵与稀疏性满足适当条件时，证明了最小二乘回归在低维与高维情形下变量选择的理论一致性。
• 对偶范数表征表明，最优性条件涉及不相交支撑上对偶范数的最大值，从而实现高效的次梯度计算。
• 在神经影像、人脸识别与基因组学中的实证验证表明，相较于无结构的 $ε_1$-范数，使用结构化范数可显著提升性能与可解释性。