[论文解读] Robust Learning Under Label Noise With Iterative Noise-Filtering

Duc Tam Nguyen, Thi-Phuong-Nhung Ngo+4 more|arXiv (Cornell University)|Jun 1, 2019

Machine Learning and Data Classification参考文献 25被引用 16

一句话总结

本文提出 IF-SSL，一种鲁棒学习框架，通过迭代过滤噪声标签的同时保留所有样本用于半监督训练，实现了最先进的性能。通过结合迭代标签过滤与基于均值教师的无监督损失，该方法在 CIFAR-10 和 CIFAR-100 上极端标签噪声（80% 噪声比）条件下，准确率最高提升达 20%。

ABSTRACT

We consider the problem of training a model under the presence of label noise. Current approaches identify samples with potentially incorrect labels and reduce their influence on the learning process by either assigning lower weights to them or completely removing them from the training set. In the first case the model however still learns from noisy labels; in the latter approach, good training data can be lost. In this paper, we propose an iterative semi-supervised mechanism for robust learning which excludes noisy labels but is still able to learn from the corresponding samples. To this end, we add an unsupervised loss term that also serves as a regularizer against the remaining label noise. We evaluate our approach on common classification tasks with different noise ratios. Our robust models outperform the state-of-the-art methods by a large margin. Especially for very large noise ratios, we achieve up to 20 % absolute improvement compared to the previous best model.

研究动机与目标

• 解决在高标签噪声条件下训练深度学习模型的挑战，其中噪声标签会降低模型的泛化能力和准确率。
• 克服先前方法的局限性：要么保留噪声标签（存在过拟合风险），要么丢弃整个样本（损失有用数据）。
• 开发一种训练流程，仅排除噪声标签，同时保留所有输入样本用于无监督学习，以提升鲁棒性。
• 在不引入额外模型组件或复杂重训练机制的前提下，实现有效的标签噪声过滤。
• 在多种架构和噪声比率下展示一致的性能提升，尤其在极端噪声条件下表现优异。

提出的方法

• 应用迭代过滤：在每个训练周期中，利用模型预测的移动平均值识别并移除置信度低或不一致的标签。
• 在训练集中始终保留所有输入样本，即使在标签过滤后，仍将它们视为无标签数据用于半监督学习。
• 使用均值教师模型作为强正则化器：教师网络的预测随时间平均，并用于监督学生网络。
• 将过滤后标签的监督损失与所有样本（包括可能含噪声标签的样本）的无监督损失相结合，采用熵最小化和一致性正则化。
• 当验证集上性能不再提升时停止迭代过程，确保收敛。
• 利用模型预测的时间集成提升过滤可靠性，减少标签移除中的误报。

实验结果

研究问题

• RQ1 在不丢弃输入样本的前提下，对噪声标签进行迭代过滤，是否能比现有方法（如重加权或移除样本）带来更好的鲁棒性？
• RQ2 将迭代标签过滤与半监督学习相结合，如何提升高标签噪声比率下的性能？
• RQ3 使用均值教师模型作为正则化器，是否比其他无监督损失策略更有效地增强鲁棒性？
• RQ4 当标签噪声超过 50% 时，所提方法在多大程度上减少了性能退化？
• RQ5 该框架是否能在无需架构修改的情况下泛化到不同神经网络架构？

主要发现

• 所提出的 IF-SSL 框架在 CIFAR-10 上 80% 标签噪声条件下实现 93.7% 的测试准确率，相比之前 SOTA 方法绝对提升 19%。
• 在 CIFAR-100 上 80% 噪声条件下，IF-SSL 达到 42.09% 的准确率，相比最佳先前方法绝对提升 20%。
• 迭代过滤显著缩小了不同架构之间的性能差距：ResNet18 和 ResNet26 经过滤后性能几乎相同，表明泛化能力得到提升。
• 结合迭代过滤的均值教师损失优于其他无监督损失（如熵损失、推开损失），尤其在高噪声环境下表现更优。
• 将所有样本用于无监督学习（即使可能含噪声标签）相比移除这些样本，性能显著更优，该结论通过消融实验得到验证。
• 该方法在多种架构上均表现鲁棒，ResNet101 因过拟合对过滤的增益较小，但与 IF-SSL 结合后仍实现可测量的性能提升。