[论文解读] Ridge Regularization: an Essential Concept in Data Science

Trevor Hastie|arXiv (Cornell University)|May 30, 2020

Neural Networks and Applications被引用 5

一句话总结

本文将岭正则化作为数据科学中的基础技术，通过在损失函数中添加ℓ₂惩罚项，展示了其在稳定病态线性模型中的作用。它说明了岭回归如何通过收缩降低方差，在高维设置下提升泛化能力，并与贝叶斯先验、矩阵补全和低秩逼近等更广泛的概念相联系。

ABSTRACT

Ridge or more formally $\ell_2$ regularization shows up in many areas of statistics and machine learning. It is one of those essential devices that any good data scientist needs to master for their craft. In this brief ridge fest I have collected together some of the magic and beauty of ridge that my colleagues and I have encountered over the past 40 years in applied statistics.

研究动机与目标

• 将岭正则化确立为数据科学中解决病态回归问题的基本工具。
• 展示当设计矩阵X存在高度多重共线性或接近奇异时，岭正则化如何缓解最小二乘估计中的数值不稳定性。
• 证明岭回归与系数上具有零均值高斯先验的贝叶斯估计之间的等价性。
• 将岭正则化扩展至广义线性模型、Cox模型和矩阵分解问题。
• 阐明岭正则化与通过核范数最小化实现的低秩矩阵逼近之间的联系。

提出的方法

• 使用岭回归估计器 β̂_λ = (XᵀX + λI)⁻¹Xᵀy 来稳定病态XᵀX矩阵的求逆过程。
• 将岭正则化重新表述为约束优化问题：在 ||β||₂ ≤ c 的约束下最小化 ||y - Xβ||₂²，表明其与拉格朗日形式的等价性。
• 在广义线性模型（GLMs）中应用岭惩罚项 λ||β||₂²，以在海塞矩阵平坦时稳定牛顿-拉夫森算法。
• 证明当类别完全可分时，岭正则化可解决逻辑回归中的不可识别性问题。
• 利用奇异值分解（SVD）高效地分析和计算岭解，尤其适用于高维设置。
• 通过核范数最小化，将岭正则化思想扩展至矩阵补全和低秩逼近问题，表明其与因子分解矩阵上的双凸岭问题等价。

实验结果

研究问题

• RQ1 当XᵀX病态或奇异时，岭正则化如何稳定最小二乘估计？
• RQ2 岭回归与系数上具有高斯先验的贝叶斯估计之间存在何种关系？
• RQ3 当最大似然估计器因分离问题而未定义时，岭正则化在广义线性模型中的表现如何？
• RQ4 岭正则化能否扩展至矩阵分解和低秩逼近问题？
• RQ5 在矩阵补全任务中，岭正则化与核范数最小化之间存在何种联系？

主要发现

• 岭正则化通过在XᵀX的对角线上添加λ来稳定病态线性模型，确保其可逆性并降低方差。
• 岭估计器向零方向有偏，但其方差低于普通最小二乘法，当λ选择得当时，能提供更好的样本外预测性能。
• 在存在完全可分的逻辑回归中，岭正则化可防止系数发散，得到有限且稳定的估计值。
• 岭正则化可推广至GLMs、Cox模型和多分类逻辑回归，在高维或奇异情况下稳定最大似然估计。
• 核范数最小化问题（矩阵补全）的解等价于求解一个双重岭矩阵分解问题，从而以新颖方式将ℓ₂与ℓ₁正则化联系起来。
• 在高维设置下（p ≫ n），岭正则化通过控制系数向量的ℓ₂范数，降低模型复杂度并提升预测性能，即使特征数量超过样本数量。