[论文解读] Regularization Paths for Least Squares Problems with Generalized $\ell_1$ Penalties

Ryan J. Tibshirani, Jonathan Taylor|arXiv (Cornell University)|May 11, 2010

Sparse and Compressive Sensing Techniques被引用 2

一句话总结

本文提出了一种广义lasso问题的路径算法，通过求解对偶公式，实现了正则化路径的高效计算。该方法建立了与标准lasso（D=I）的LARS算法之间的联系，并推导出广义lasso拟合的直观且无偏的自由度估计。

ABSTRACT

We present a path algorithm for the generalized lasso problem. This problem penalizes the $\ell_1$ norm of a matrix D times the coefficient vector, and has a wide range of applications, dictated by the choice of D. Our algorithm is based on solving the dual of the generalized lasso, which greatly facilitates computation of the path. For $D=I$ (the usual lasso), we draw a connection between our approach and the well-known LARS algorithm. For an arbitrary D, we derive an unbiased estimate of the degrees of freedom of the generalized lasso fit. This estimate turns out to be quite intuitive in many applications.

研究动机与目标

• 开发一种适用于任意设计矩阵D的广义lasso问题的高效路径算法。
• 利用对偶公式简化计算，并实现可扩展的解路径追踪。
• 在D=I的特殊情况下，建立所提方法与LARS算法之间的联系。
• 推导广义lasso拟合的无偏自由度估计，以改进模型选择与推断。

提出的方法

• 该方法求解广义lasso问题的对偶问题，从而简化了正则化路径的计算。
• 采用活动集策略来追踪路径上活动约束的变化。
• 该算法利用对偶问题的结构，高效计算不同正则化参数下的解。
• 当D=I时，该方法退化为LARS算法的一种变体，从而建立了理论一致性。
• 基于对偶解和活动集结构，推导出无偏的自由度估计器。
• 该方法适用于任意矩阵D，因此在各种应用中具有广泛适用性。

实验结果

研究问题

• RQ1 如何为任意D高效计算广义lasso的正则化路径？
• RQ2 当D=I时，所提出的基于对偶的算法与LARS算法之间存在何种关系？
• RQ3 能否为广义lasso拟合推导出无偏的自由度估计？
• RQ4 在具有结构化惩罚的实际应用中，自由度估计器的表现如何？

主要发现

• 基于对偶的路径算法实现了广义lasso整个正则化路径的高效计算。
• 当D=I时，该方法恢复了LARS算法，验证了其与现有方法的一致性。
• 推导出的无偏自由度估计器直观且适用于各种D矩阵。
• 自由度估计器与理论预期一致，并在模型选择中具有实用性。