[论文解读] The Lasso Problem and Uniqueness

Ryan J. Tibshirani|arXiv (Cornell University)|Jun 1, 2012

Statistical Methods and Inference参考文献 16被引用 6

一句话总结

本文证明，当预测变量来自连续分布时，无论样本量 n 或预测变量数量 p 如何，套索解几乎必然唯一。该研究将此结果推广至一般的 ℓ1-惩罚问题，提出一种改进的 LARS 算法以处理非唯一解情况，并提出一种基于线性规划的方法来计算系数不确定性边界，从而解决了高维回归中的关键可解释性问题。

ABSTRACT

The lasso is a popular tool for sparse linear regression, especially for problems in which the number of variables p exceeds the number of observations n. But when p>n, the lasso criterion is not strictly convex, and hence it may not have a unique minimum. An important question is: when is the lasso solution well-defined (unique)? We review results from the literature, which show that if the predictor variables are drawn from a continuous probability distribution, then there is a unique lasso solution with probability one, regardless of the sizes of n and p. We also show that this result extends easily to $\ell_1$ penalized minimization problems over a wide range of loss functions. A second important question is: how can we deal with the case of non-uniqueness in lasso solutions? In light of the aforementioned result, this case really only arises when some of the predictor variables are discrete, or when some post-processing has been performed on continuous predictor measurements. Though we certainly cannot claim to provide a complete answer to such a broad question, we do present progress towards understanding some aspects of non-uniqueness. First, we extend the LARS algorithm for computing the lasso solution path to cover the non-unique case, so that this path algorithm works for any predictor matrix. Next, we derive a simple method for computing the component-wise uncertainty in lasso solutions of any given problem instance, based on linear programming. Finally, we review results from the literature on some of the unifying properties of lasso solutions, and also point out particular forms of solutions that have distinctive properties.

研究动机与目标

• 建立套索解唯一的条件，特别是在 p > n 的高维情形下。
• 解决由于套索解非唯一而引发的可解释性问题，例如符号不一致性和活动集差异。
• 将 LARS 算法扩展至处理任意预测矩阵下的非唯一套索解。
• 开发一种基于线性规划的方法，用于计算套索系数的逐项不确定性边界。
• 通过刻画解多面体的面结构，枚举所有可能的套索解活动集。

提出的方法

• 证明若 X 的元素为独立同分布的连续变量，则套索解以概率 1 唯一，无论 n 和 p 取值如何。
• 将唯一性结果推广至包含一般凸损失函数的广泛 ℓ1-惩罚最小化问题类别。
• 通过在等相关时间允许变量进入和退出，修改 LARS 算法以处理非唯一性，即使解路径本身不唯一。
• 提出一种线性规划公式，用于计算所有可能解中单个套索系数的下界和上界。
• 利用由等相关条件定义的多面体 K 的面结构，枚举所有可能的套索解活动集。
• 在正向（λ 递减）和反向（λ 递增）两个方向应用 LARS 路径算法，以在给定 λ∗ 附近计算局部解路径。

实验结果

研究问题

• RQ1 在何种条件下可保证套索解唯一，特别是在 p > n 的情况下？
• RQ2 在套索解中是否可能出现符号不一致现象——即一个解为某变量赋予正系数，而另一个解赋予负系数？
• RQ3 在相同 λ 下的不同套索解是否必然具有相同的活动集，还是可能拥有不同的非零系数集合？
• RQ4 当存在多个解时，如何计算单个套索系数的不确定性边界？
• RQ5 是否能够系统性地枚举给定问题实例下所有可能的套索解活动集？

主要发现

• 当预测矩阵 X 的元素来自连续概率分布时，套索解以概率 1 唯一，无论 n 和 p 的取值如何。
• 套索解中不会出现符号不一致现象——即一个解为某变量赋予正系数，另一个解赋予负系数的情况不可能发生。
• 在相同 λ 下的不同套索解可能具有不同的活动集，通过一个反例证明：两个解在支持集上存在差异。
• 改进的 LARS 算法可在解非唯一时计算套索解路径，通过追踪等相关集合及合并/交叉时间点实现。
• 可通过线性规划计算套索系数的逐项不确定性边界，提供一种系统化量化解模糊性的方法。
• 所有可能的套索解活动集与由等相关条件定义的多面体 K 的非空面一一对应，从而实现活动集的系统性枚举。