[论文解读] When Does More Regularization Imply Fewer Degrees of Freedom? Sufficient Conditions and Counter Examples from Lasso and Ridge Regression

Shachar Kaufman, Saharon Rosset|arXiv (Cornell University)|Nov 12, 2013

Statistical Methods and Inference被引用 5

一句话总结

本文挑战了人们普遍认为正则化程度提高会降低回归模型自由度的假设。通过理论分析和反例，本文表明在套索回归（lasso）和岭回归（ridge regression）中，更高的正则化反而可能增加自由度和乐观性（optimism），从而破坏正则化的核心逻辑。然而，本文也识别出两种情形——对称线性平滑器（symmetric linear smoothers）和凸约束线性回归（convex-constrained linear regression）——在这些情况下可保证自由度单调减少。

ABSTRACT

Regularization aims to improve prediction performance of a given statistical modeling approach by moving to a second approach which achieves worse training error but is expected to have fewer degrees of freedom, i.e., better agreement between training and prediction error. We show here, however, that this expected behavior does not hold in general. In fact, counter examples are given that show regularization can increase the degrees of freedom in simple situations, including lasso and ridge regression, which are the most common regularization approaches in use. In such situations, the regularization increases both training error and degrees of freedom, and is thus inherently without merit. On the other hand, two important regularization scenarios are described where the expected reduction in degrees of freedom is indeed guaranteed: (a) all symmetric linear smoothers, and (b) linear regression versus convex constrained linear regression (as in the constrained variant of ridge regression and lasso).

研究动机与目标

• 调查在正则化回归模型中，增加正则化是否始终能降低自由度。
• 挑战广泛持有的信念，即更高的正则化会导致更低的乐观性和更好的泛化性能。
• 识别正则化确实能降低自由度的充分条件，并揭示在哪些情况下它不会降低。
• 在套索回归与岭回归中构建反例，表明更高的正则化会同时增加训练误差和自由度。
• 阐明正则化模型的乐观性随正则化参数单调减少的理论条件。

提出的方法

• 通过投影映射形式化正则化的嵌套结构，并以乐观性和有效自由度来定义自由度的单调性。
• 利用斯坦因引理（Stein's lemma）将自由度表示为预测函数关于观测数据的雅可比矩阵的迹。
• 分析投影映射到嵌套子空间时的雅可比矩阵分量，以比较预测对输入扰动的敏感性。
• 应用凸集上投影的非扩张性（non-expansion properties）来限制数据扰动对模型输出的影响。
• 推导出雅可比矩阵的迹（即自由度）随正则化增强而减少的充分条件。
• 在套索回归与岭回归中构建显式反例，表明更高的正则化会增加自由度和乐观性。

实验结果

研究问题

• RQ1 在套索回归与岭回归中，增加正则化是否总是导致自由度减少？
• RQ2 在何种条件下，正则化会增加乐观性和自由度，与理论预期相反？
• RQ3 是否存在一类通用模型，使得正则化可保证自由度单调减少？
• RQ4 为何传统直觉（即正则化通过降低自由度来减少过拟合）在套索回归与岭回归中会失效？
• RQ5 正则化模型的乐观性是否可能高于正则化程度较低的模型？如果是，其条件是什么？

主要发现

• 在套索回归与岭回归中，存在反例表明更高的正则化会导致更高的自由度和更高的乐观性，与标准假设相矛盾。
• 对于对称线性平滑器（symmetric linear smoothers），更高的正则化可保证自由度单调减少。
• 在凸约束线性回归（如约束型岭回归与约束型套索回归）中，正则化同样可确保自由度单调减少。
• 模型的乐观性并不一定随正则化参数单调变化；更高的正则化可能增加乐观性。
• 即使训练误差增加，雅可比矩阵的迹（即有效自由度）仍可能随正则化增强而上升，导致此类正则化失效。
• 推导出嵌套正则化模型的自由度随正则化增强而单调减少的理论条件。