[论文解读] On the Peaking Phenomenon of the Lasso in Model Selection

Nicole Kraemer|ArXiv.org|Apr 28, 2009

Statistical Methods and Inference参考文献 4被引用 7

一句话总结

本文揭示了在 lars R 包中由于惩罚参数化存在缺陷，导致 Lasso 模型选择在 n/p = 1 比例处出现虚假的性能峰值。该文提出一种基于交叉验证最小二乘法范数的归一化 Lasso 惩罚，消除了该峰值，显著提升了不同观测数与变量数比值下的测试误差稳定性。

ABSTRACT

I briefly report on some unexpected results that I obtained when optimizing the model parameters of the Lasso. In simulations with varying observations-to-variables ratio n=p, I typically observe a strong peak in the test error curve at the transition point n/p = 1. This peaking phenomenon is well-documented in scenarios that involve the inversion of the sample covariance matrix, and as I illustrate in this note, it is also the source of the peak for the Lasso. The key problem is the parametrization of the Lasso penalty (as e.g. in the current R package lars) and I present a solution in terms of a normalized Lasso parameter.

研究动机与目标

• 调查 Lasso 在 n/p = 1 转折点出现意外性能下降的原因。
• 确认根本原因在于使用 Lasso 与 OLS 估计的 ℓ₁-范数之比来参数化 Lasso 惩罚。
• 证明这种有缺陷的参数化方式在 n_cv = p 时会导致交叉验证结果不一致。
• 提出一种惩罚参数的归一化技术，以在不同 n/p 比值下稳定模型选择。
• 通过模拟验证该方法，显示测试误差降低且惩罚参数选择更加一致。

提出的方法

• 使用合成数据，包含 p = 90 个变量，20 个非零系数，信噪比 = 4，生成 n = 10 至 200 个观测值。
• 通过 R 语言中的 cv.lars 函数执行 10 折交叉验证，以选择 Lasso 惩罚参数 s = ||β_lasso||₁ / ||β_ols||₁。
• 引入归一化惩罚参数 ŝ = (ℓ₁,ols_cv / ℓ₁,ols) × s_cv，以校正当 n_cv ≈ p 时 s_cv 的偏差。
• 比较基于标准 lars 的 Lasso 与归一化版本（mylars）在测试误差和惩罚参数选择方面的表现。
• 分析在不同 n 和 n_cv 下 OLS 与 Lasso 估计的 ℓ₁-范数行为，将不稳定性与高维设置下的 Moore-Penrose 伪逆联系起来。
• 通过重新运行模拟并比较原始方法与归一化方法之间的测试误差和惩罚曲线，验证了该归一化方法的有效性。

实验结果

研究问题

• RQ1 为何 Lasso 在 n/p = 1 比例处表现出显著的测试误差峰值，尽管随着 n/p 增加性能通常应提升？
• RQ2 lars R 包中当前 Lasso 惩罚参数化方式如何导致这一峰值现象？
• RQ3 当 n_cv = p 时，最小二乘估计的不稳定性在交叉验证中起到何种作用？
• RQ4 能否通过基于交叉验证的 OLS 范数对惩罚参数进行归一化来缓解峰值效应？
• RQ5 所提出的归一化方法是否能在不同 n/p 比值下带来更稳定、更准确的模型选择？

主要发现

• 在 n/p = 1 处出现显著的测试误差峰值，原因是 Lasso 惩罚参数化方式基于 Lasso 与 OLS 估计的 ℓ₁-范数之比。
• 该峰值的产生是因为当 n_cv = p 时，OLS 估计的 ℓ₁-范数变得极小，导致交叉验证中惩罚参数 s 被严重低估。
• 归一化惩罚参数 ŝ 定义为 ŝ = (ℓ₁,ols_cv / ℓ₁,ols) × s_cv，能有效校正此偏差，从而消除测试误差峰值。
• 归一化 Lasso 在 n/p 增加时表现出单调递减的测试误差，与理论预期一致。
• 惩罚参数 s 的峰值并非恰好出现在 n = p 处，而是在交叉验证折中 n_cv = p 时出现，证实了 OLS 不稳定性在模型选择中的作用。
• 所提出的归一化方法计算高效，可直接应用于现有的基于 lars 的实现，无需重新估计系数。