[论文解读] Multiple Descent: Design Your Own Generalization Curve

Lin Chen, Yifei Min+2 more|arXiv (Cornell University)|Aug 3, 2020

Neural Networks and Applications参考文献 52被引用 28

一句话总结

本文证明，通过控制数据和模型特性，可以显式设计线性回归中的泛化误差曲线，使其呈现出任意数量的下降和峰值。通过对过参数化和欠参数化情形的理论分析，作者证明了经典的U形曲线和双下降曲线并非模型族的固有特性，而是由数据归纳偏置相互作用所导致，从而可完全控制泛化曲线的形状。

ABSTRACT

This paper explores the generalization loss of linear regression in variably parameterized families of models, both under-parameterized and over-parameterized. We show that the generalization curve can have an arbitrary number of peaks, and moreover, locations of those peaks can be explicitly controlled. Our results highlight the fact that both classical U-shaped generalization curve and the recently observed double descent curve are not intrinsic properties of the model family. Instead, their emergence is due to the interaction between the properties of the data and the inductive biases of learning algorithms.

研究动机与目标

• 探究线性回归中的泛化曲线是否可表现出超过两次的下降。
• 确定泛化曲线中下降次数和位置是否可被显式控制。
• 挑战U形或双下降曲线是模型族固有特性的假设。
• 表明泛化曲线的形状源于数据结构与模型归纳偏置的相互作用，而非仅由模型族特性决定。

提出的方法

• 作者分析了可变参数化模型族中的线性回归，通过改变数据维度和模型复杂度。
• 利用随机矩阵理论和Moore-Penrose广义逆的性质，推导出期望泛化误差的精确表达式。
• 通过引入结构化数据和模型参数，控制设计矩阵的秩和谱特性，以塑造风险曲线。
• 该方法涉及构建数据分布，使得泛化误差依赖于数据协方差与设计矩阵广义逆之间的相互作用。
• 通过渐近分析和浓度不等式，表明期望风险可被调节以产生任意的下降模式。
• 通过在连续维度间风险差异的显式界，验证了理论结果，证明在受控条件下期望误差可单调增加或减少。

实验结果

研究问题

• RQ1 线性回归中的泛化曲线是否可表现出超过两次的下降？
• RQ2 泛化曲线中峰谷的次数和位置是否可被显式控制？
• RQ3 U形或双下降曲线是否是模型族的内在属性，还是数据与归纳偏置相互作用的产物？
• RQ4 是否可通过受控的数据和模型结构，设计泛化误差具有任意下降模式？

主要发现

• 线性回归中的泛化曲线可被构造为具有任意数量的下降和峰值，具体取决于数据和模型设计。
• 作者证明了经典的U形曲线和双下降曲线并非模型族的固有特性，而是由数据与归纳偏置的相互作用所导致。
• 对于任意期望的下降次数，均存在一种数据分布和模型配置，可实现相应的泛化曲线。
• 通过调节数据分布参数，可使期望泛化误差在连续维度之间增加或减少。
• 在小噪声极限下，维度间的风险差异可为负，从而实现下降；而在其他情形下可为正，从而实现上升。
• 本文确立了泛化曲线并非仅由模型复杂度决定，而是可通过数据和模型结构实现完全调控。