[论文解读] Reliable Label Correction is a Good Booster When Learning with Extremely Noisy Labels

Kai Wang, Xiangyu Peng+5 more|arXiv (Cornell University)|Apr 30, 2022

Machine Learning and Data Classification被引用 4

一句话总结

该论文提出 LC-Booster，一种新颖的框架，通过结合可靠的标签修正与样本选择，提升在极端标签噪声下的深度学习性能。通过利用样本选择获得的纯净干净样本集来实现精确的标签修正，LC-Booster 在保持高标签精确度的同时扩大了干净样本集的规模，在 CIFAR-10 上达到 92.9% 的准确率，在 CIFAR-100 上达到 48.4% 的准确率（在 90% 对称噪声下），优于当前最先进方法。

ABSTRACT

Learning with noisy labels has aroused much research interest since data annotations, especially for large-scale datasets, may be inevitably imperfect. Recent approaches resort to a semi-supervised learning problem by dividing training samples into clean and noisy sets. This paradigm, however, is prone to significant degeneration under heavy label noise, as the number of clean samples is too small for conventional methods to behave well. In this paper, we introduce a novel framework, termed as LC-Booster, to explicitly tackle learning under extreme noise. The core idea of LC-Booster is to incorporate label correction into the sample selection, so that more purified samples, through the reliable label correction, can be utilized for training, thereby alleviating the confirmation bias. Experiments show that LC-Booster advances state-of-the-art results on several noisy-label benchmarks, including CIFAR-10, CIFAR-100, Clothing1M and WebVision. Remarkably, under the extreme 90\% noise ratio, LC-Booster achieves 92.9\% and 48.4\% accuracy on CIFAR-10 and CIFAR-100, surpassing state-of-the-art methods by a large margin.

研究动机与目标

• 为解决现有样本选择方法在极端标签噪声下性能下降的问题，即干净样本数量过少而难以有效训练。
• 探究在样本选择设置中是否可以可靠地应用标签修正，以扩大干净样本集规模，同时避免引入确认偏倚。
• 开发一种联合利用样本选择与标签修正的框架，以提升在极端噪声下的模型泛化能力。
• 证明：当在净化后的干净样本集上应用可靠标签修正时，可显著提升性能，且无需外部干净锚点或自举机制。

提出的方法

• 该框架首先通过预热阶段学习基本模式，随后应用基于高斯混合模型（GMM）损失的样本选择方法，将干净样本与噪声样本分离。
• 干净样本使用监督损失进行训练，而噪声样本则通过混合增强（H-Aug.）策略以无监督方式处理，以在弱-弱和弱-强视图之间强制保持一致性。
• 在训练中期，应用可靠标签修正（ReCo）机制，利用在净化后的干净样本集上训练的模型对干净样本和噪声样本的标签进行修正。
• ReCo 机制使用阈值化置信度分数，确保标签修正的高精确度，并为在适当阈值下实现标签精确度提供了理论依据。
• 该方法通过依赖高度净化的干净样本集来避免确认偏倚，从而为标签修正提供可靠的模型预测。
• 框架在 ReCo 之后动态扩展干净样本集规模，显著增加了高质量训练样本的数量。

实验结果

研究问题

• RQ1 是否可以在样本选择框架中可靠地应用标签修正，以扩大干净样本集规模，同时避免误差累积？
• RQ2 将样本选择与标签修正相结合，是否能提升在极端标签噪声（如 90% 噪声）下的泛化性能？
• RQ3 在噪声水平持续增加的情况下（尤其是超过 90% 时），LC-Booster 的性能与当前最先进方法相比如何？
• RQ4 当在净化后的干净样本集上应用标签修正时，其精确度能否在理论上得到保证？
• RQ5 在训练过程中仅执行一次标签修正是否足以实现最优性能？

主要发现

• 在 90% 对称标签噪声下，LC-Booster 在 CIFAR-10 上达到 92.9% 的测试准确率，在 CIFAR-100 上达到 48.4% 的测试准确率，显著优于先前最先进方法。
• 在 90% 对称噪声下，LC-Booster 的重标注精确度超过 90%，证明其在净化噪声标签方面具有卓越能力。
• LC-Booster 在标签修正后，干净样本集规模显著扩大，远超 DivideMix，对性能提升有显著贡献。
• LC-Booster 在整个训练过程中保持更高的 AUC 值，表明其在识别干净样本方面比基线方法更精确。
• 当噪声水平从 90% 增加到 93% 时，LC-Booster 与 DivideMix 的性能差距进一步扩大，证实其在极端噪声下的鲁棒性。
• 在第 100 个训练周期进行一次重标注已足够；进一步重标注无法提升准确率，表明标签修正的最佳时机已确定。