[论文解读] Using Trusted Data to Train Deep Networks on Labels Corrupted by Severe Noise

Dan Hendrycks, Mantas Mazeika+2 more|arXiv (Cornell University)|Feb 14, 2018

Adversarial Robustness in Machine Learning被引用 312

一句话总结

本文提出 Gold Loss Correction (GLC)，这是一种数据高效的方法，使用一个小的可信集来估计标签噪声腐败矩阵并相应地校正损失，从而在严重标签噪声下鲁棒地训练深度网络。

ABSTRACT

The growing importance of massive datasets used for deep learning makes robustness to label noise a critical property for classifiers to have. Sources of label noise include automatic labeling, non-expert labeling, and label corruption by data poisoning adversaries. Numerous previous works assume that no source of labels can be trusted. We relax this assumption and assume that a small subset of the training data is trusted. This enables substantial label corruption robustness performance gains. In addition, particularly severe label noise can be combated by using a set of trusted data with clean labels. We utilize trusted data by proposing a loss correction technique that utilizes trusted examples in a data-efficient manner to mitigate the effects of label noise on deep neural network classifiers. Across vision and natural language processing tasks, we experiment with various label noises at several strengths, and show that our method significantly outperforms existing methods.

研究动机与目标

• 在自动标注、非专家标注或数据投毒导致训练标签严重污染时，动机于鲁棒学习。
• 提出一个利用小型可信数据集来减轻标签噪声的损失校正框架。
• 证明与现有方法相比，GLC在视觉和NLP任务中带来显著的鲁棒性提升。

提出的方法

• 定义一个腐败矩阵 C，其中 C_{ij}=P(tilde{y}=j | y=i) 表示标签噪声。
• 从不可信数据中估计 C，通过训练一个带有噪声标签的分类器 p(tilde{y}|x) 并对每个真实类别 i 对可信实例的预测进行平均。
• 通过对模型输出应用 C^T 并在带有噪声标签的情况下优化来训练一个校正后的分类器，同时可选地保持可信样本不被校正。
• 提出 Gold Loss Correction (GLC)，它结合估计 C 与一个校正损失以恢复 P(y|x)。
• 将 GLC 与 Forward、Distillation 和 Confusion-Matrix 基线进行比较，显示在数据集和噪声类型上的错误率下方面积的改进。
• 通过在不同的可信比例上进行测试，并使用合成和弱标签噪声设置来探索数据效率。

实验结果

研究问题

• RQ1 如何利用一小组可信标签在严重标签噪声下实现鲁棒学习？
• RQ2 是否从可信数据中估计标签噪声矩阵能比现有损失校正方法更好地恢复真实标签分布？
• RQ3 在不同的污染类型和强度下，该方法在视觉和NLP任务中的数据效率如何？
• RQ4 使用可信数据对前向损失校正和蒸馏基线的影响有多大？
• RQ5 GLC 是否能够处理实例相关噪声并在金标签有限的情况下仍然优于最先进方法？

主要发现

• GLC 在 MNIST、CIFAR (10/100)、IMDB、SST、Twitter POS 以及其他 NLP 任务下，对齐统一、翻转和层级污染等情况下，鲁棒性始终优于基线，误差更低。
• 通过可信数据估计腐败矩阵得到的 C 相对于混淆矩阵或前向方法更为准确，在中等到强噪声水平上表现更强。
• GLC 仍具数据效率，在非常小的可信比例（如 1-5%）时就能取得显著增益，在可信数据稀少时在若干设置中优于蒸馏。
• 在 clothing1M 中，GLC 的表现优于蒸馏，特别是在可信样本较少时，展示了在现实世界噪声标注数据场景下的数据效率优势。
• 弱分类器标签实验表明，即使噪声标签来自弱模型，GLC 也常常实现最佳的误差率下降，突出其对不同噪声源的鲁棒性。
• 总体而言，GLC 提供了一个最先进、数据高效的学习在标签噪声下的方法，且可以利用一个小型金标集获得显著收益。