[论文解读] SELC: Self-Ensemble Label Correction Improves Learning with Noisy Labels

Yangdi Lu, Wenbo He|arXiv (Cornell University)|May 2, 2022

Machine Learning and Data Classification被引用 4

一句话总结

SELC 是一种简单而有效的方法，通过利用训练早期阶段的自集成预测，逐步校正噪声标签，从而在训练深层神经网络时处理噪声标签。通过在记忆化转折点之前对模型输出使用指数移动平均，SELC 减少了对错误标记数据的过拟合，并在对称性、类别条件性和实例相关性噪声设置下均实现了最先进性能，且对超参数的敏感度极低。

ABSTRACT

Deep neural networks are prone to overfitting noisy labels, resulting in poor generalization performance. To overcome this problem, we present a simple and effective method self-ensemble label correction (SELC) to progressively correct noisy labels and refine the model. We look deeper into the memorization behavior in training with noisy labels and observe that the network outputs are reliable in the early stage. To retain this reliable knowledge, SELC uses ensemble predictions formed by an exponential moving average of network outputs to update the original noisy labels. We show that training with SELC refines the model by gradually reducing supervision from noisy labels and increasing supervision from ensemble predictions. Despite its simplicity, compared with many state-of-the-art methods, SELC obtains more promising and stable results in the presence of class-conditional, instance-dependent, and real-world label noise. The code is available at https://github.com/MacLLL/SELC.

研究动机与目标

• 解决深层神经网络在训练过程中因噪声标签而过拟合的问题。
• 识别并利用早期阶段的记忆化行为，即模型对干净样本的预测是可靠的。
• 开发一种标签校正方法，利用历史模型预测来优化监督信号，而无需使用测试数据或噪声率信息。
• 提出一种鲁棒、简单且高效的方法，可轻松与现有训练技术（如 mixup）集成。

提出的方法

• SELC 使用早期训练阶段模型预测的指数移动平均（EMA），形成自集成预测，作为比噪声标签更可靠的监督目标。
• 通过使用动量加权更新，将原始噪声标签与基于 EMA 的集成预测相结合，实现动态标签校正。
• 提出一种新颖的无监督度量方法，基于损失建模来估计训练中的转折点——即开始记忆错误标记样本的时刻——而无需使用测试数据或噪声率信息。
• 校正过程逐步减少对噪声标签的依赖，同时增加对更稳定集成预测的依赖，从而提升泛化能力。
• 该方法与数据增强技术（如 mixup）兼容，集成后可进一步提升性能。

实验结果

研究问题

• RQ1 能否在训练过程中利用干净样本的早期一致模型预测来校正噪声标签？
• RQ2 在无法访问测试数据或噪声率信息的情况下，如何检测训练中的转折点——即开始记忆错误标记样本的时刻？
• RQ3 在各种噪声类型下，基于过去模型预测的自集成能否提升标签校正和模型泛化能力？
• RQ4 在不同噪声水平和设置下，SELC 与最先进方法相比，在鲁棒性和稳定性方面表现如何？

主要发现

• SELC 在 CIFAR-10 数据集上，针对对称性、类别条件性和实例相关性标签噪声，均实现了最先进性能，且在所有噪声比率下均优于现有方法。
• 在 CIFAR-10 上使用 80% 对称噪声时，SELC 相较于标准交叉熵训练，测试准确率提升了超过 10%。
• 在 CIFAR-100 上使用 70% PMD 噪声时，SELC 相较于基线模型实现了约 10% 的准确率提升，表明其在高噪声水平下具有强大的鲁棒性。
• 在真实世界数据集上，SELC 在 ANIMAL-10N 和 Webvision 上优于基线模型，并且在 Clothing1M 上实现了与 SOTA 方法（如 PLC）相当的性能，尽管其方法本身极为简洁。
• SELC 的校正准确率在整个训练周期内保持稳定且较高，表明其标签校正过程可靠且一致。
• SELC 对超参数 α 的敏感度较弱，在 α = 0.85、0.9 和 0.95 的取值下性能下降极小，表明其对超参数选择具有鲁棒性。