[论文解读] PropMix: Hard Sample Filtering and Proportional MixUp for Learning with Noisy Labels

Filipe R. Cordeiro, Vasileios Belagiannis+2 more|arXiv (Cornell University)|Oct 22, 2021

Machine Learning and Data Classification被引用 6

一句话总结

PropMix 通过过滤难以识别的噪声样本并使用比例 MixUp 来增强鲁棒性，提出了一种学习噪声标签的新颖训练框架。通过重新标记容易识别的噪声样本，并在统一的数据集上使用 MixUp 进行训练，PropMix 在 CIFAR-10/100、WebVision 和 Red Mini-ImageNet 上实现了最先进性能，尤其在高噪声率下显著优于先前方法。

ABSTRACT

The most competitive noisy label learning methods rely on an unsupervised classification of clean and noisy samples, where samples classified as noisy are re-labelled and "MixMatched" with the clean samples. These methods have two issues in large noise rate problems: 1) the noisy set is more likely to contain hard samples that are in-correctly re-labelled, and 2) the number of samples produced by MixMatch tends to be reduced because it is constrained by the small clean set size. In this paper, we introduce the learning algorithm PropMix to handle the issues above. PropMix filters out hard noisy samples, with the goal of increasing the likelihood of correctly re-labelling the easy noisy samples. Also, PropMix places clean and re-labelled easy noisy samples in a training set that is augmented with MixUp, removing the clean set size constraint and including a large proportion of correctly re-labelled easy noisy samples. We also include self-supervised pre-training to improve robustness to high noisy label scenarios. Our experiments show that PropMix has state-of-the-art (SOTA) results on CIFAR-10/-100(with symmetric, asymmetric and semantic label noise), Red Mini-ImageNet (from the Controlled Noisy Web Labels), Clothing1M and WebVision. In severe label noise bench-marks, our results are substantially better than other methods. The code is available athttps://github.com/filipe-research/PropMix.

研究动机与目标

• 解决半监督学习中因过度拟合于错误重新标注的困难噪声样本而带来的挑战。
• 克服 MixMatch 的局限性，即其受干净样本集大小的限制，尤其在高噪声率下。
• 通过过滤困难噪声样本并专注于正确重新标注容易识别的噪声样本，提升高噪声场景下的模型鲁棒性。
• 通过仅在过滤并重新标注的样本上使用交叉熵损失，减少对复杂损失函数和超参数的依赖。
• 通过在主训练阶段前进行自监督预训练，提升特征表示能力和模型置信度。

提出的方法

• PropMix 采用两阶段过滤过程：首先根据损失值将样本分类为干净或噪声；其次基于分类置信度低的样本移除困难噪声样本。
• 将容易识别的噪声样本使用模型预测结果进行重新标注，并加入训练集，与干净样本共同构成统一数据集。
• 使用 MixUp 对合并后的训练集进行增强，实现干净样本与重新标注的容易噪声样本之间的比例混合，从而消除对干净样本集大小的限制。
• 在主训练阶段前，应用基于 SCAN 的自监督预训练阶段，以提升特征表示能力和模型置信度。
• 最终训练仅在过滤并增强后的训练集上使用交叉熵损失，简化训练流程并降低对超参数的敏感性。
• 该方法避免在重新标注样本上使用平均绝对误差（MAE）损失，转而依赖于对容易样本的准确重新标注，从而仅通过交叉熵损失即可实现有效训练。

实验结果

研究问题

• RQ1 过滤困难噪声样本是否能减少过拟合并提升噪声标签学习中重新标注的准确性？
• RQ2 在高噪声率下，移除 MixMatch 中对干净样本集大小的限制是否能提升性能？
• RQ3 在高噪声场景下，仅在过滤并重新标注的样本上使用简单的交叉熵损失，是否能优于更复杂的损失函数（如 MAE）？
• RQ4 当与困难样本过滤和 MixUp 结合时，自监督预训练在噪声标签学习中如何增强鲁棒性？
• RQ5 PropMix 在对称、非对称和语义标签噪声的基准测试中，相较于现有最先进方法，其性能提升程度如何？

主要发现

• 在 CIFAR-10 上使用 90% 的对称噪声时，PropMix 实现 78.84% 的 top-1 准确率，比之前的最先进方法 DivideMix（77.78%）高出 1.06 个百分点。
• 在 CIFAR-100 上使用 90% 的对称噪声时，PropMix 实现 94.9% 的 top-1 准确率，显著优于 DivideMix（93.4%）及其他基线方法。
• 在 Red Mini-ImageNet 上使用 80% 的标签噪声时，PropMix 实现 61.24% 的 top-1 准确率，较次佳方法 FaMUS（51.42%）有显著提升。
• 在 WebVision 上使用 80% 的噪声时，PropMix 实现 43.42% 的 top-1 准确率，比 DivideMix（34.50%）和 FaMUS（35.50%）高出超过 8 个百分点。
• 消融研究显示，即使将重新标注样本上的 MAE 损失替换为 CE 损失，PropMix 仍保持强劲性能，表明对容易样本的准确重新标注已足够实现高性能。
• 该方法在所有基准测试中均实现了最先进结果，且无需依赖复杂损失函数或大量超参数调优，凸显其鲁棒性与简洁性。