[论文解读] Noisy Labels Can Induce Good Representations.

Jingling Li, Mozhi Zhang+3 more|arXiv (Cornell University)|Dec 23, 2020

Machine Learning and Data Classification参考文献 78被引用 8

一句话总结

该论文表明，当网络结构与任务相匹配时，即使最终层泛化能力差，噪声标签仍能在深度神经网络中诱导出良好的隐藏表征。通过用在小部分干净数据上训练的线性分类器替换最终的全连接层，该方法在图像分类和图任务的噪声标签基准上均提升了性能，在结合现有技术时达到了最先进水平。

ABSTRACT

The current success of deep learning depends on large-scale labeled datasets. In practice, high-quality annotations are expensive to collect, but noisy annotations are more affordable. Previous works report mixed empirical results when training with noisy labels: neural networks can easily memorize random labels, but they can also generalize from noisy labels. To explain this puzzle, we study how architecture affects learning with noisy labels. We observe that if an architecture suits the task, training with noisy labels can induce useful hidden representations, even when the model generalizes poorly; i.e., the last few layers of the model are more negatively affected by noisy labels. This finding leads to a simple method to improve models trained on noisy labels: replacing the final dense layers with a linear model, whose weights are learned from a small set of clean data. We empirically validate our findings across three architectures (Convolutional Neural Networks, Graph Neural Networks, and Multi-Layer Perceptrons) and two domains (graph algorithmic tasks and image classification). Furthermore, we achieve state-of-the-art results on image classification benchmarks by combining our method with existing approaches on noisy label training.

研究动机与目标

• 解决深度网络在存在噪声标签时为何有时仍能良好泛化的悖论。
• 研究神经网络架构在标签噪声下的学习影响。
• 开发一种在噪声标签上训练时提升模型性能的实用方法。
• 在包括图像和图任务在内的多种架构和领域中验证该方法。

提出的方法

• 该方法用线性分类器替换预训练模型的最终全连接层。
• 线性分类器仅在训练数据的小部分干净子集上进行训练。
• 该方法利用了隐藏表征即使在最终层因噪声标签而受损时仍具实用价值的事实。
• 该方法应用于卷积神经网络、图神经网络和多层感知机。
• 通过结合现有噪声标签训练技术来评估性能。

实验结果

研究问题

• RQ1 当架构与任务匹配时，神经网络能否从噪声标签中学习到有用的表征？
• RQ2 为何某些模型在学习到有意义特征后，仍会在噪声标签上泛化能力差？
• RQ3 在干净数据上训练的简单线性头能否提升噪声标签数据集上的性能？
• RQ4 该方法在不同架构和领域中的表现如何？

主要发现

• 即使最终层因标签噪声而失效，训练过程中学习到的隐藏表征依然有用且可迁移。
• 用在小部分干净数据上训练的线性分类器替换最终层，能显著提升在噪声标签基准上的泛化性能。
• 当结合现有噪声标签训练方法时，该方法在图像分类任务上达到了最先进性能。
• 该方法在多种架构中均有效，包括CNN、GNN和MLP，并在图像和基于图的任务中均表现良好。