[论文解读] Understanding and Mitigating the Label Noise in Pre-training on Downstream Tasks

Hao Chen, Jindong Wang+6 more|arXiv (Cornell University)|Sep 29, 2023

Aerospace and Aviation Technology被引用 4

一句话总结

本文研究了预训练数据集中标签噪声对下游迁移性能的影响，发现尽管轻微的噪声可提升域内泛化能力，但其始终会因特征空间扭曲而损害域外性能。为缓解此问题，作者提出NMTune，一种轻量级黑盒微调方法，通过协方差和奇异值正则化对特征空间进行仿射变换，显著提升在域内与域外任务上的泛化能力，且无需完整微调。

ABSTRACT

Pre-training on large-scale datasets and then fine-tuning on downstream tasks have become a standard practice in deep learning. However, pre-training data often contain label noise that may adversely affect the generalization of the model. This paper aims to understand the nature of noise in pre-training datasets and to mitigate its impact on downstream tasks. More specifically, through extensive experiments of supervised pre-training models on synthetic noisy ImageNet-1K and YFCC15M datasets, we demonstrate that while slight noise in pre-training can benefit in-domain (ID) transfer performance, where the training and testing data share the same distribution, it always deteriorates out-of-domain (OOD) performance, where training and testing data distribution are different. We empirically verify that the reason behind is noise in pre-training shapes the feature space differently. We then propose a light-weight black-box tuning method (NMTune) to affine the feature space to mitigate the malignant effect of noise and improve generalization on both ID and OOD tasks, considering one may not be able to fully fine-tune or even access the pre-trained models. We conduct practical experiments on popular vision and language models that are pre-trained on noisy data for evaluation of our approach. Our analysis and results show the importance of this interesting and novel research direction, which we term Noisy Model Learning.

研究动机与目标

• 理解预训练数据中的标签噪声如何影响下游模型在域内与域外任务上的泛化性能。
• 探究为何标签噪声虽可能提升域内性能，却会损害域外性能。
• 开发一种轻量级、黑盒微调方法，以校正预训练噪声导致的特征空间失真。
• 在无需访问或完整微调预训练模型的前提下，提升模型在域内与域外下游任务上的泛化能力。
• 建立一种新的研究方向，称为“噪声模型学习”（Noisy Model Learning），以实现鲁棒的预训练与迁移学习。

提出的方法

• 作者在ImageNet-1K和YFCC15M的合成噪声版本上进行大量实验，分析标签噪声对预训练的影响。
• 提出NMTune，一种轻量级微调方法，通过使用ReLU激活的两层MLP对特征空间施加仿射变换。
• NMTune引入三项正则化项：均方误差（MSE）损失、协方差正则化（L_COV）和主导奇异值正则化（L_SVD）。
• 该方法通过将特征空间对齐至更清洁、更具泛化能力的分布，以减轻噪声影响。
• 该方法设计为黑盒，仅需推理时访问预训练模型，无需完整微调。
• 该方法在基于噪声数据预训练的视觉与语言模型上进行评估，包括ResNet-50和ViT。

(a) ID

实验结果

研究问题

• RQ1 预训练数据中的标签噪声如何影响域内与域外下游性能？
• RQ2 为何标签噪声会损害域外泛化能力，尽管其可能提升域内性能？
• RQ3 轻量级、黑盒微调方法能否有效校正预训练噪声引起的特征空间失真？
• RQ4 所提出的方法是否能在无需完整微调的情况下，提升域内与域外任务的泛化能力？
• RQ5 当下游数据本身也含噪声时，该方法是否仍具有效性？

主要发现

• 预训练中的轻微标签噪声可提升域内迁移性能，但因特征空间失真而始终损害域外性能。
• 在噪声预训练下，特征空间出现错位，导致分布偏移时泛化能力下降。
• NMTune在域内与域外任务上均提升泛化能力，且在多数情况下优于标准微调（LP），尤其在干净预训练模型上表现更优。
• 在CIFAR-10与CIFAR-100上分别使用5%与10%标签噪声时，NMTune在ImageNet-1K预训练的ResNet-50上分别取得75.06%与67.34%的准确率，部分设置下超越LP。
• 消融实验表明，ReLU非线性与两层MLP架构为最优，而移除正则化项会降低性能。
• 运行时分析显示，NMTune计算开销极低，平均仅需1.45 GPU小时（语言模型域外任务），相较MLP微调的1.34 GPU小时，增加可忽略。

(b) OOD