[论文解读] Understanding Double Descent Requires a Fine-Grained Bias-Variance Decomposition

Ben Adlam, Jeffrey Pennington|arXiv (Cornell University)|Nov 4, 2020

Machine Learning in Materials Science被引用 22

一句话总结

本文提出了一种对称的、细粒度的偏差-方差分解，可将过参数化模型中数据采样、模型初始化和标签噪声的方差贡献分离出来。研究发现，双下降现象并非源于整体方差，而是源于在插值阈值处发散的交互项——特别是 $V_{PX}$ 和 $V_{PX\boldsymbol{\rho}}$——这些项解释了测试误差的峰值，并表明通过袋装法（bagging）或集成方法可消除该现象。

ABSTRACT

Classical learning theory suggests that the optimal generalization performance of a machine learning model should occur at an intermediate model complexity, with simpler models exhibiting high bias and more complex models exhibiting high variance of the predictive function. However, such a simple trade-off does not adequately describe deep learning models that simultaneously attain low bias and variance in the heavily overparameterized regime. A primary obstacle in explaining this behavior is that deep learning algorithms typically involve multiple sources of randomness whose individual contributions are not visible in the total variance. To enable fine-grained analysis, we describe an interpretable, symmetric decomposition of the variance into terms associated with the randomness from sampling, initialization, and the labels. Moreover, we compute the high-dimensional asymptotic behavior of this decomposition for random feature kernel regression, and analyze the strikingly rich phenomenology that arises. We find that the bias decreases monotonically with the network width, but the variance terms exhibit non-monotonic behavior and can diverge at the interpolation boundary, even in the absence of label noise. The divergence is caused by the \emph{interaction} between sampling and initialization and can therefore be eliminated by marginalizing over samples (i.e. bagging) \emph{or} over the initial parameters (i.e. ensemble learning).

研究动机与目标

• 解决经典偏差-方差分解在解释过参数化模型中双下降现象时的局限性。
• 识别在插值阈值附近测试误差峰值的根本原因，该现象经典理论无法解释。
• 开发一种对称的、可解释的方差分解方法，以涵盖多种随机来源：采样、初始化和标签噪声。
• 证明测试误差的发散源于采样与初始化之间的交互项，而非标签噪声或单一来源。
• 表明诸如袋装法或模型平均等集成方法可消除有问题的方差分量。

提出的方法

• 提出一种对称的多变量偏差-方差分解，通过使用ANOVA风格的正交分解避免了任意的条件顺序。
• 将该分解应用于随机特征核回归，实现高维渐近分析。
• 推导出偏差和方差分量的显式表达式：$B$、$V_P$、$V_X$、$V_{X\boldsymbol{\rho}}$、$V_{PX}$ 和 $V_{PX\boldsymbol{\rho}}$。
• 在模型宽度和样本量趋于无穷大的极限下进行渐近分析，识别每个方差项的行为。
• 利用该分解在插值阈值（$\phi = \psi$）处隔离发散项，并分析其对模型参数的依赖性。
• 将所提出的对称分解与以往的顺序分解（如 d'Ascoli 等人）进行比较，指出后者在归因发散时存在解释性缺陷。

实验结果

研究问题

• RQ1 为何在过参数化模型中，尽管偏差较低，测试误差仍会在插值阈值处出现峰值？
• RQ2 哪些特定的随机来源导致了双下降中非单调的方差行为？
• RQ3 对称的多变量方差分解是否能比顺序分解更清晰地阐明误差峰值的根源？
• RQ4 为何标准的集成方法（如袋装法或集成）能减少插值附近的测试误差峰值？
• RQ5 采样与初始化之间的交互项如何导致发散的方差分量？

主要发现

• 偏差随模型宽度增加而单调递减，与经典理论一致。
• 方差分量 $V_{PX}$ 和 $V_{PX\boldsymbol{\rho}}$ 在插值阈值处（$\phi = \psi$）发散，即使在无标签噪声的情况下亦然。
• 发散源于采样与初始化之间的交互作用，而非标签噪声或单一来源。
• 通过边际化训练样本（袋装法）或初始参数（集成学习），可消除发散项 $V_{PX}$ 和 $V_{PX\boldsymbol{\rho}}$。
• 该对称分解唯一地将交互项识别为根本原因，而以往的顺序分解则错误地将发散归因于单一来源。
• 总方差和偏差保持有限，但测试误差的峰值源于经典分解中未被考虑的交互效应。