[论文解读] PARS: Pseudo-Label Aware Robust Sample Selection for Learning with Noisy Labels

Arushi Goel, Yunlong Jiao+1 more|arXiv (Cornell University)|Jan 26, 2022

Machine Learning and Data Classification被引用 4

一句话总结

PARS 提出了一种新颖的鲁棒样本选择框架，通过标签相关性噪声感知损失函数，联合利用原始噪声标签和伪标签，在充分利用所有样本的同时有效缓解了对噪声标签的过拟合。该方法实现了最先进性能，包括在 CIFAR-100 数据集上对 90% 对称标签噪声实现 12% 的绝对准确率提升，以及在低资源设置下实现 27% 的性能提升。

ABSTRACT

Acquiring accurate labels on large-scale datasets is both time consuming and expensive. To reduce the dependency of deep learning models on learning from clean labeled data, several recent research efforts are focused on learning with noisy labels. These methods typically fall into three design categories to learn a noise robust model: sample selection approaches, noise robust loss functions, or label correction methods. In this paper, we propose PARS: Pseudo-Label Aware Robust Sample Selection, a hybrid approach that combines the best from all three worlds in a joint-training framework to achieve robustness to noisy labels. Specifically, PARS exploits all training samples using both the raw/noisy labels and estimated/refurbished pseudo-labels via self-training, divides samples into an ambiguous and a noisy subset via loss analysis, and designs label-dependent noise-aware loss functions for both sets of filtered labels. Results show that PARS significantly outperforms the state of the art on extensive studies on the noisy CIFAR-10 and CIFAR-100 datasets, particularly on challenging high-noise and low-resource settings. In particular, PARS achieved an absolute 12% improvement in test accuracy on the CIFAR-100 dataset with 90% symmetric label noise, and an absolute 27% improvement in test accuracy when only 1/5 of the noisy labels are available during training as an additional restriction. On a real-world noisy dataset, Clothing1M, PARS achieves competitive results to the state of the art.

研究动机与目标

• 为解决在大规模带噪声标签数据集上训练深度神经网络的挑战，此类噪声会严重损害模型泛化能力。
• 克服现有方法的局限性，即丢弃经筛选的噪声样本，或依赖高质量验证集进行标签校正。
• 开发一种统一的训练框架，同时利用原始标签和伪标签，并通过基于置信度的过滤机制与噪声感知损失函数，提升对标签噪声的鲁棒性。
• 在真实场景中高噪声与低资源设置下评估性能，此时仅部分标签可用。

提出的方法

• PARS 采用两阶段训练流程：首先，通过噪声鲁棒损失函数进行稳健预热阶段，以稳定模型学习过程。
• 其次，应用数据增强进行自训练，为所有训练样本（包括先前被过滤为噪声的样本）生成伪标签。
• 通过设置较高的预测置信度阈值，实施基于置信度的过滤，以识别可靠样本，并将模糊样本与噪声样本区分开来。
• 对于原始标签样本和伪标签样本，PARS 均应用标签相关的噪声感知损失函数：对干净样本采用正/负样本学习，对噪声样本采用鲁棒/负样本学习。
• 该方法联合优化原始标签数据与伪标签数据上的损失，避免丢弃任何样本，最大化信号利用效率。
• 提出一种新颖的低资源半监督 LNL 设置，仅部分标签可用，验证了在数据稀缺条件下的强大性能。

实验结果

研究问题

• RQ1 能否设计一种统一框架，同时利用原始标签与伪标签数据，以提升深度学习中对标签噪声的鲁棒性？
• RQ2 保留并学习已被过滤的噪声样本（此前在以往方法中被丢弃）是否能提升模型性能？
• RQ3 所提出的标签相关性噪声感知损失函数在处理不同水平与类型的标签噪声时效果如何？
• RQ4 PARS 是否能在现实世界中常见的高噪声与低资源设置下实现最先进性能？

主要发现

• 在 CIFAR-100 数据集上，当标签噪声为 90% 对称噪声时，PARS 相较于先前最先进方法实现了 12% 的绝对准确率提升。
• 在仅提供 1/5 可用噪声标签的低资源设置下，PARS 相较于现有方法实现了 27% 的绝对准确率提升。
• 消融实验表明，若移除伪标签的使用，性能显著下降，证明了使用伪标签进行自训练的重要性。
• 若丢弃被过滤的噪声标签（而非使用噪声感知损失函数进行学习），性能持续下降，证明保留所有样本的价值。
• 完整 PARS 模型在所有数据集与噪声水平下均优于所有消融变体，证实了其各组件之间的协同效应。
• 在真实世界数据集 Clothing1M 上，PARS 达到了与最先进方法相当的性能，验证了其在真实世界噪声数据上的泛化能力。