[论文解读] On the $\ell_1-\ell_q$ Regularized Regression

Han Liu, Jian Zhang|ArXiv.org|Feb 11, 2008

Statistical Methods and Inference参考文献 29被引用 5

一句话总结

本文研究高维分组变量选择中的ℓ₁–ℓ_q正则化回归，证明在固定设计和随机设计下估计与变量选择的一致性。该研究统一了Lasso（q=1）、组Lasso（q=2）和iCAP（q=∞）的理论分析，表明关键的Lasso性质可推广至更广泛的ℓ₁–ℓ_q框架，即使组大小随样本量增长也成立。

ABSTRACT

In this paper we consider the problem of grouped variable selection in high-dimensional regression using $\ell_1-\ell_q$ regularization ($1\leq q \leq \infty$), which can be viewed as a natural generalization of the $\ell_1-\ell_2$ regularization (the group Lasso). The key condition is that the dimensionality $p_n$ can increase much faster than the sample size $n$, i.e. $p_n \gg n$ (in our case $p_n$ is the number of groups), but the number of relevant groups is small. The main conclusion is that many good properties from $\ell_1-$regularization (Lasso) naturally carry on to the $\ell_1-\ell_q$ cases ($1 \leq q \leq \infty$), even if the number of variables within each group also increases with the sample size. With fixed design, we show that the whole family of estimators are both estimation consistent and variable selection consistent under different conditions. We also show the persistency result with random design under a much weaker condition. These results provide a unified treatment for the whole family of estimators ranging from $q=1$ (Lasso) to $q=\infty$ (iCAP), with $q=2$ (group Lasso)as a special case. When there is no group structure available, all the analysis reduces to the current results of the Lasso estimator ($q=1$).

研究动机与目标

• 将ℓ₁-正则化（Lasso）的理论性质扩展至高维设置下分组变量选择的更广泛ℓ₁–ℓ_q框架。
• 在固定设计与随机设计下，建立ℓ₁–ℓ_q估计量的估计一致性和变量选择一致性，即使组大小随样本量增加也成立。
• 统一分析现有方法（包括Lasso（q=1）、组Lasso（q=2）和iCAP（q=∞）），表明其优良性质属于一个连续的估计族。
• 为联合Lasso估计量提供理论依据，证明其为ℓ₁–ℓ_∞正则化的特例。
• 推导出在较弱假设下，ℓ₁–ℓ_q估计量在随机设计下实现可预测性的条件。

提出的方法

• 提出ℓ₁–ℓ_q正则化回归作为Lasso和组Lasso的推广，其中在每个变量组内应用ℓ_q范数。
• 采用固定设计框架，在稀疏性和组结构假设下推导估计与变量选择一致性。
• 在随机设计下应用可预测性结果，使用弱于以往工作的条件，证明预测风险收敛至Oracle风险。
• 采用分块设计变换，通过Kronecker积将联合Lasso估计量映射为ℓ₁–ℓ_∞正则化回归问题。
• 利用设计矩阵协方差差异的上确界范数控制，推导经验风险与总体风险之差的界。
• 建立ℓ₁–ℓ_q估计量的稀疏Oracle不等式及收敛速率，表明其能自适应于真实稀疏水平。

实验结果

研究问题

• RQ1 当组数p_n的增长速度快于样本量n时，ℓ₁–ℓ_q估计量在何种条件下具有估计一致性？
• RQ2 ℓ₁–ℓ_q估计量在何种条件下具有变量选择一致性，即能否正确识别出非零组的真集合？
• RQ3 ℓ₁–ℓ_q估计量的理论性能如何随q变化，特别是在q=1（Lasso）、q=2（组Lasso）和q=∞（iCAP）之间？
• RQ4 在较弱假设下，是否可在随机设计下建立可预测性（预测风险收敛至Oracle风险）？
• RQ5 联合Lasso估计量在多大程度上可被理论证明为ℓ₁–ℓ_q正则化的特例？

主要发现

• 当正则化参数λ_n满足λ_n = o(1)，且组稀疏度s_n相对于n增长缓慢时，ℓ₁–ℓ_q估计量在固定设计下实现估计一致性。
• 在更强的不可表示性类型条件下，建立了变量选择一致性，确保无关组被正确排除。
• 在随机设计下，估计量在弱于以往结果的条件下实现可预测性一致性，预测风险以概率收敛至Oracle风险。
• 在适当的正则性条件下，ℓ₁–ℓ_q估计量的收敛速率为O_p( (s_n log p_n)/n )^{1/2}，在稀疏情形下与已知的Lasso速率一致。
• 证明联合Lasso估计量等价于一个ℓ₁–ℓ_∞正则化回归问题，从而可直接应用本文的理论结果。
• 该分析统一了Lasso（q=1）、组Lasso（q=2）和iCAP（q=∞）的理论性质，表明其一致性和Oracle性质属于一个连续的估计族。