[论文解读] Reconciling modern machine learning and the bias-variance trade-off

Mikhail Belkin, Daniel Hsu+2 more|arXiv (Cornell University)|Dec 28, 2018

Machine Learning and Data Classification被引用 93

一句话总结

本文通过引入一条延伸传统U形偏差-方差权衡的'双重下降'曲线，解决了经典机器学习理论与现代实践之间的矛盾。它表明，即使在模型容量超过插值点（即模型完全拟合训练数据）之后，继续增加容量仍可改善泛化性能，从而解释了为何如深度神经网络等过参数化模型在实践中能实现良好泛化。

ABSTRACT

Breakthroughs in machine learning are rapidly changing science and society, yet our fundamental understanding of this technology has lagged far behind. Indeed, one of the central tenets of the field, the bias-variance trade-off, appears to be at odds with the observed behavior of methods used in the modern machine learning practice. The bias-variance trade-off implies that a model should balance under-fitting and over-fitting: rich enough to express underlying structure in data, simple enough to avoid fitting spurious patterns. However, in the modern practice, very rich models such as neural networks are trained to exactly fit (i.e., interpolate) the data. Classically, such models would be considered over-fit, and yet they often obtain high accuracy on test data. This apparent contradiction has raised questions about the mathematical foundations of machine learning and their relevance to practitioners. In this paper, we reconcile the classical understanding and the modern practice within a unified performance curve. This curve subsumes the textbook U-shaped bias-variance trade-off curve by showing how increasing model capacity beyond the point of interpolation results in improved performance. We provide evidence for the existence and ubiquity of double descent for a wide spectrum of models and datasets, and we posit a mechanism for its emergence. This connection between the performance and the structure of machine learning models delineates the limits of classical analyses, and has implications for both the theory and practice of machine learning.

研究动机与目标

• 解决经典偏差-方差理论与现代机器学习实践之间的明显矛盾，即过参数化模型在完全拟合训练数据的情况下仍能实现良好泛化。
• 证明经典U形偏差-方差曲线不足以解释现代模型（尤其是深度神经网络）的性能表现。
• 确立'双重下降'泛化误差曲线在各类模型和数据集中的普遍存在性。
• 提供一个理论机制，解释为何在插值阈值之后泛化误差仍会下降，从而挑战关于过拟合的经典假设。
• 通过将经典分析扩展至过参数化模型，重新定义机器学习的理论基础。

提出的方法

• 通过分析模型容量与泛化误差的关系，提出一个统一的性能曲线，将经典U形偏差-方差权衡扩展为双重下降曲线。
• 分析模型容量逐步增加时的泛化误差，包括模型完美拟合训练数据的插值区域。
• 在多种模型（如线性模型、神经网络）和数据集上进行实证分析，以展示双重下降现象。
• 提出一个理论框架，将模型容量、数据结构与泛化误差联系起来，表明双重下降源于模型复杂度与数据几何之间的相互作用。
• 运用统计学习理论，形式化说明当数据位于低维流形上时，过参数化模型为何能实现良好泛化。
• 证明当模型容量超过训练样本数量时，双重下降曲线自然出现，尤其在高维设置下更为显著。

实验结果

研究问题

• RQ1 为何如深度神经网络等过参数化模型在完全拟合训练数据的情况下仍能实现良好泛化，这与经典偏差-方差理论相矛盾？
• RQ2 经典U形偏差-方差曲线是否足以描述现代机器学习模型的泛化行为？
• RQ3 在不同架构和数据集上，机器学习模型中双重下降现象在何种条件下出现？
• RQ4 模型和数据的何种结构或数学特性导致了双重下降行为？
• RQ5 如何将经典泛化理解扩展，以解释现代过参数化模型的成功？

主要发现

• 双重下降曲线在多种模型（包括线性模型、核方法和深度神经网络）及各类数据集上均被实证观察到。
• 泛化误差不仅在模型容量增加至插值阈值前下降，且在该阈值之后仍持续下降，与经典理论相悖。
• 双重下降现象具有鲁棒性，当模型容量超过训练样本数量时出现，尤其在高维设置下更为显著。
• 双重下降的出现与数据的几何结构及模型的归纳偏置密切相关，特别是在数据位于低维流形上时。
• 过参数化模型能实现良好泛化，是因为它们隐式地最小化了一种正则化风险，倾向于选择在数据内在结构中复杂度较低的解。
• 经典偏差-方差权衡被双重下降曲线所涵盖，后者提供了对模型泛化性能更完整、更准确的描述。