[论文解读] Understanding and Utilizing Deep Neural Networks Trained with Noisy Labels

Pengfei Chen, Benben Liao+2 more|arXiv (Cornell University)|May 13, 2019

Machine Learning and Data Classification参考文献 27被引用 139

一句话总结

本文分析标签噪声如何影响深度神经网络的泛化，证明在对称噪声下测试准确率是噪声的二次函数，并提出 INCV+Co-teaching 来识别干净样本并训练鲁棒模型，在 CIFAR-10 和 WebVision 上达到最先进的结果。

ABSTRACT

Noisy labels are ubiquitous in real-world datasets, which poses a challenge for robustly training deep neural networks (DNNs) as DNNs usually have the high capacity to memorize the noisy labels. In this paper, we find that the test accuracy can be quantitatively characterized in terms of the noise ratio in datasets. In particular, the test accuracy is a quadratic function of the noise ratio in the case of symmetric noise, which explains the experimental findings previously published. Based on our analysis, we apply cross-validation to randomly split noisy datasets, which identifies most samples that have correct labels. Then we adopt the Co-teaching strategy which takes full advantage of the identified samples to train DNNs robustly against noisy labels. Compared with extensive state-of-the-art methods, our strategy consistently improves the generalization performance of DNNs under both synthetic and real-world training noise.

研究动机与目标

• 量化带有噪声标签的深度神经网络的泛化能力受到标签噪声的影响程度。
• 提供在对称噪声和非对称噪声下，将测试准确率与噪声比相关联的理论框架。
• 开发实用算法以在带噪声的数据集中识别干净标签，并将其整合到鲁棒训练中。
• 相较于现有方法，在合成和真实世界带噪声数据集（CIFAR-10 与 WebVision）上展示了最先进的性能。

提出的方法

• 使用噪声转移矩阵 T，对带噪声标签的模型训练进行建模，以分析分布上的泛化。
• 推导对称噪声和非对称噪声下的测试准确率公式（例如 Eqs. 4–5 及相关推论）。
• 引入 Noisy Cross-Validation (NCV)，通过对半分数据交叉训练以识别干净样本（Algorithm 1）。
• 定义 Iterative Noisy Cross-Validation (INCV)，以迭代方式扩大干净子集并估计噪声（Algorithm 2）。
• 将 INCV 与加强型 Co-teaching 框架（Algorithm 3）结合，以在强调干净子集的同时对候选样本的使用进行控制，训练两个网络。

实验结果

研究问题

• RQ1 标签噪声（对称 vs. 非对称）在多大程度上定量影响 DNN 的测试准确率和泛化能力？
• RQ2 用噪声比表达带噪声标签训练的 DNN 的测试准确率是否可行，且是否与经验观测相符？
• RQ3 我们是否能够在嘈杂数据集中可靠地识别干净（正确）的样本以改进学习？
• RQ4 将 Iterative Noisy Cross-Validation 与 Co-teaching 相结合，是否在合成和真实世界带噪声数据集上带来更强的鲁棒性和准确性？

主要发现

• 在对称噪声下，测试准确率是噪声比的二次函数。
• 训练在带噪声数据上的 DNN 的预测遵循与真实标签相同的分布，由噪声转移矩阵 T 表征（分布上的泛化）。
• Noisy Cross-Validation (NCV) 和 Iterative NCV (INCV) 能识别高比例的干净样本，并降低所选集合中的有效噪声（LP 和 LR 指标）。
• 以 INCV 加强的 Co-teaching 框架在 CIFAR-10 的对称和非对称噪声下，以及在 WebVision/ILSVRC12 验证集上，相对于多种基线获得更高的测试准确率。
• 实证结果在对带噪声的 CIFAR-10 上训练的网络的混淆矩阵中显示 M ≈ T，验证了理论预测。