[论文解读] The Malignant Tail: Spectral Segregation of Label Noise in Over-Parameterized Networks

Zice Wang|arXiv (Cornell University)|Mar 2, 2026

Stochastic Gradient Optimization Techniques被引用 0

一句话总结

该论文揭示了一种谱机械制（恶性尾部）在超参数化网络中记忆标签噪声的方式，并且显示训练后显式谱截断可以恢复最佳泛化。

ABSTRACT

While implicit regularization facilitates benign overfitting in low-noise regimes, recent theoretical work predicts a sharp phase transition to harmful overfitting as the noise-to-signal ratio increases. We experimentally isolate the geometric mechanism of this transition: the Malignant Tail, a failure mode where networks functionally segregate signal and noise, reducing coherent semantic features into low-rank subspaces while pushing stochastic label noise into high-frequency orthogonal components, distinct from systematic or corruption-aligned noise. Through a Spectral Linear Probe of training dynamics, we demonstrate that Stochastic Gradient Descent (SGD) fails to suppress this noise, instead implicitly biasing it toward high-frequency orthogonal subspaces, effectively preserving signal-noise separability. We show that this geometric separation is distinct from simple variance reduction in untrained models. In trained networks, SGD actively segregates noise, allowing post-hoc Explicit Spectral Truncation (d << D) to surgically prune the noise-dominated subspace. This approach recovers the optimal generalization capability latent in the converged model. Unlike unstable temporal early stopping, Geometric Truncation provides a stable post-hoc intervention. Our findings suggest that under label noise, excess spectral capacity is not harmless redundancy but a latent structural liability that allows for noise memorization, necessitating explicit rank constraints to filter stochastic corruptions for robust generalization.

研究动机与目标

• 在标签噪声下动机化并表征良性到有害过拟合的转变。
• 识别学习表征中的信号与噪声的几何结构。
• 提出一种事后谱截断方法以恢复最佳泛化。
• 证明在嘈杂场景下显式秩约束可优于早停。

提出的方法

• 用带有尖峰协方差的框架对学习表征进行建模，区分维度为 k* 的信号子空间 S 与噪声子空间 S⊥。
• 通过谱熵定义有效秩以量化表示的维度性。
• 使用谱线性探针评估泛化作为子空间维度 d 的函数。
• 推导内在秩–风险凸性结果，显示在 d ≈ k* 处存在唯一最优解。
• 证明 SGD 主动将噪声分离到尾部的高方差正交区域，而非消除它。
• 在 ResNet 及其他架构上通过经验谱探针在不同数据集和噪声设定下验证该方法。

实验结果

研究问题

• RQ1 在标签噪声下良性与恶性过拟合之间的转变背后存在哪种几何结构？
• RQ2 标签噪声是否可以谱分离成一个标准隐式正则化无法消除的尾部？
• RQ3 是否存在最大化泛化的最优子空间维度 d，事后谱截断能否恢复它？
• RQ4 显式谱截断在嘈杂场景下是否优于早停作为鲁棒正则化？
• RQ5 恶性尾部现象在不同架构和优化器间是否普适？

主要发现

• 存在一个关于子空间秩 d 的泛化误差的凸谷，其最小值近似于 d ≈ k*，将信号与噪声分离开来。
• SGD 主动将不相干的标签噪声分离到正交的高方差尾部，而对信号流形基本保持完好。
• 显式谱截断（限制在 d ≈ k*）可以恢复或超越完全收敛模型的泛化，提供一个稳定的事后干预。
• 更宽的网络会扩大恶性尾部，在标签噪声下可能导致泛化变差，这挑战了“宽就好”的观点。
• 该现象在多种架构（ResNet、VGG、WideResNet、ViT）和优化器中都观测到，表明其具有广泛的、与架构无关的机制。