[论文解读] The degrees of freedom of the Group Lasso for a General Design

Samuel Vaiter, Charles‐Alban Deledalle+3 more|arXiv (Cornell University)|Dec 28, 2012

Statistical Methods and Inference参考文献 3被引用 3

一句话总结

本论文推导了在一般设计矩阵下，组Lasso的自由度（DOF）的无偏估计量，无论设计是欠定还是超定。通过建立组Lasso解的局部参数化并借助半代数几何工具，作者证明了预测估计量的散度几乎处处等于一个显式公式，从而可通过Stein的无偏风险估计（SURE）实现无偏预测风险估计。

ABSTRACT

In this paper, we are concerned with regression problems where covariates can be grouped in nonoverlapping blocks, and where only a few of them are assumed to be active. In such a situation, the group Lasso is an at- tractive method for variable selection since it promotes sparsity of the groups. We study the sensitivity of any group Lasso solution to the observations and provide its precise local parameterization. When the noise is Gaussian, this allows us to derive an unbiased estimator of the degrees of freedom of the group Lasso. This result holds true for any fixed design, no matter whether it is under- or overdetermined. With these results at hand, various model selec- tion criteria, such as the Stein Unbiased Risk Estimator (SURE), are readily available which can provide an objectively guided choice of the optimal group Lasso fit.

研究动机与目标

• 为一般线性模型中的组Lasso提供一个无偏的自由度（DOF）估计量，包括欠定和超定设计。
• 建立组Lasso解的局部参数化，作为观测向量y的函数，即使设计矩阵秩亏时也成立。
• 证明组Lasso预测映射的散度几乎处处等于一个闭式表达式，从而实现无偏DOF估计。
• 将模型选择准则（如SURE）推广至组Lasso框架，实现正则化参数λ的客观选择。
• 推广先前关于Lasso和组Lasso的DOF结果，尤其拓展至非正交或不满秩设计的情形。

提出的方法

• 利用最优性条件和次微分微积分，在ℝⁿ除去一个零测度集H的区域上，推导组Lasso解β̂(y)的局部C¹参数化。
• 运用半代数几何证明集合H（解不可微的点集）的Lebesgue测度为零，从而确保几乎处处可微性。
• 建立预测映射µ̂(y) = Xβ̂(y)的散度公式，表示为tr(X I_d(y, λ))，其中I_d为解映射的Jacobian矩阵。
• 应用Stein引理，证明该散度公式在高斯噪声下是DOF的无偏估计量。
• 在X = I_n的特殊情形下，推导DOF的闭式表达式，其等于各组大小之和减去一个涉及λ和组范数的收缩项。
• 通过SURE验证DOF估计量，实现预测风险的无偏估计，从而支持模型选择。

实验结果

研究问题

• RQ1 当设计矩阵不满列秩时，能否为组Lasso推导出自由度的无偏估计量？
• RQ2 组Lasso预测映射的精确散度是什么？在何种条件下其几乎处处有定义？
• RQ3 组Lasso的DOF如何用组结构和正则化参数λ表示？
• RQ4 能否将SURE原理应用于组Lasso，以实现客观的模型选择？
• RQ5 在一般（非正交）设计下，包括欠定系统中，DOF估计量是否仍保持无偏？

主要发现

• 组Lasso的自由度可通过预测映射的散度无偏估计，该散度几乎处处等于涉及设计矩阵和组特定投影的闭式表达式。
• 组Lasso解不可微的点集具有Lebesgue测度零，支持基于散度的DOF估计方法的合理性。
• 在单位设计（X = I_n）下，DOF估计量简化为∑_{b∈I} |b| − λ ∑_{b∈I} (|b|−1)/||yb||，与已知的软阈值DOF公式一致。
• 该DOF估计量适用于任意固定的设计矩阵，无论其秩或n与p的配置如何，扩展了以往仅限于满秩或正交设计的结果。
• 基于DOF的SURE风险估计量对预测风险E||µ̂(y) − µ₀||²是无偏的，从而支持λ的客观选择。
• 该方法为高维组稀疏回归中的模型选择提供了严格的理论基础，即使在欠定情形下也适用。