[论文解读] The Group Square-Root Lasso: Theoretical Properties and Fast Algorithms

Florentina Bunea, Johannes Lederer+1 more|arXiv (Cornell University)|Feb 1, 2013

Statistical Methods and Inference参考文献 27被引用 8

一句话总结

本文提出群组平方根套索（Group Square-Root Lasso, GSRL），一种高维稀疏回归方法，通过最小化残差平方和的平方根并施加类群组套索的惩罚项来实现。与传统群组套索不同，GSRL的调参参数与噪声方差无关，因此无需估计噪声水平即可实现最优估计与预测精度，同时在最小条件下保持收敛性与模式恢复能力。

ABSTRACT

We introduce and study the Group Square-Root Lasso (GSRL) method for estimation in high dimensional sparse regression models with group structure. The new estimator minimizes the square root of the residual sum of squares plus a penalty term proportional to the sum of the Euclidean norms of groups of the regression parameter vector. The net advantage of the method over the existing Group Lasso (GL)-type procedures consists in the form of the proportionality factor used in the penalty term, which for GSRL is independent of the variance of the error terms. This is of crucial importance in models with more parameters than the sample size, when estimating the variance of the noise becomes as difficult as the original problem. We show that the GSRL estimator adapts to the unknown sparsity of the regression vector, and has the same optimal estimation and prediction accuracy as the GL estimators, under the same minimal conditions on the model. This extends the results recently established for the Square-Root Lasso, for sparse regression without group structure. Moreover, as a new type of result for Square-Root Lasso methods, with or without groups, we study correct pattern recovery, and show that it can be achieved under conditions similar to those needed by the Lasso or Group-Lasso-type methods, but with a simplified tuning strategy. We implement our method via a new algorithm, with proved convergence properties, which, unlike existing methods, scales well with the dimension of the problem. Our simulation studies support strongly our theoretical findings.

研究动机与目标

• 解决在噪声方差未知或难以估计时，高维群组稀疏回归中调参参数选择的挑战。
• 开发一种方法，实现与群组套索相当的最优估计与预测精度，但无需依赖误差方差的知识。
• 在最小假设条件下，建立正确群组模式恢复的理论保证。
• 设计一种快速、可扩展的优化算法，确保在大规模问题中可靠收敛。

提出的方法

• GSRL估计器通过最小化残差平方和的平方根加上与回归系数群组L2范数之和成比例的惩罚项来实现。
• 惩罚系数与噪声方差无关，因此在噪声水平未知或误设的高维设置中仍能保持鲁棒性能。
• 基于非扩张算子框架，提出一种新型迭代算法，利用代理函数确保收敛性。
• 算法对每组执行软阈值化步骤，定义为依赖于当前残差范数的群组阈值算子。
• 通过非扩张算子的Opial条件证明收敛性，显示渐近正则性及全局收敛至不动点。
• 通过缩放操作实现算法，以提升高维场景下的数值稳定性和可扩展性。

实验结果

研究问题

• RQ1 能否开发一种群组稀疏回归方法，实现最优估计与预测精度，而无需依赖噪声方差的知识？
• RQ2 所提出的GSRL估计器在最小模型假设下，是否能保持与群组套索相同的理论性能保证？
• RQ3 与标准套索或群组套索相比，能否通过简化的调参策略实现正确的群组模式恢复？
• RQ4 是否存在一种可扩展的GSRL优化算法，能在高维设置中可靠收敛？

主要发现

• 在噪声方差未知的情况下，GSRL估计器在相同最小条件下，仍能达到与群组套索相同的最优估计与预测误差率。
• 该方法在与Lasso或群组套索相似的条件下实现正确的群组模式恢复，且调参策略简化，不依赖噪声水平。
• 所提出的算法全局收敛至满足KKT条件的解，具有可证明的渐近正则性与有界迭代序列。
• 该算法在维度增加时仍保持良好可扩展性，在高维问题中计算效率优于现有方法。
• 模拟研究证实了理论发现的强经验支持，包括对未知噪声方差的鲁棒性及准确的群组选择能力。