[论文解读] UNICON: Combating Label Noise Through Uniform Selection and Contrastive Learning

Nazmul Karim, Mamshad Nayeem Rizve+3 more|arXiv (Cornell University)|Mar 28, 2022

Machine Learning and Data Classification被引用 15

一句话总结

UNICON 提出了一种新颖的样本选择方法，通过使用 Jensen-Shannon 散度强制实现类别均衡的均匀选择，以缓解在高标签噪声下对易分类别的偏差。通过将该方法与对比学习结合，减少对噪声标签的记忆，UNICON 在 CIFAR100 上 90% 噪声率下相比 SOTA 方法实现了 11.4% 的准确率提升，展示了在极端噪声环境下的鲁棒性与泛化能力。

ABSTRACT

Supervised deep learning methods require a large repository of annotated data; hence, label noise is inevitable. Training with such noisy data negatively impacts the generalization performance of deep neural networks. To combat label noise, recent state-of-the-art methods employ some sort of sample selection mechanism to select a possibly clean subset of data. Next, an off-the-shelf semi-supervised learning method is used for training where rejected samples are treated as unlabeled data. Our comprehensive analysis shows that current selection methods disproportionately select samples from easy (fast learnable) classes while rejecting those from relatively harder ones. This creates class imbalance in the selected clean set and in turn, deteriorates performance under high label noise. In this work, we propose UNICON, a simple yet effective sample selection method which is robust to high label noise. To address the disproportionate selection of easy and hard samples, we introduce a Jensen-Shannon divergence based uniform selection mechanism which does not require any probabilistic modeling and hyperparameter tuning. We complement our selection method with contrastive learning to further combat the memorization of noisy labels. Extensive experimentation on multiple benchmark datasets demonstrates the effectiveness of UNICON; we obtain an 11.4% improvement over the current state-of-the-art on CIFAR100 dataset with a 90% noise rate. Our code is publicly available

研究动机与目标

• 为解决当前方法在高标签噪声下倾向于选择易于学习的类别所导致的干净样本选择中类别不平衡的问题。
• 通过在所选干净样本集中强制实现类别均衡，提升半监督学习中伪标签的质量。
• 通过对比学习减少对噪声标签的记忆，学习鲁棒表示，而无需依赖标签。
• 开发一种简单、可扩展且无需超参数调节的样本选择机制，不依赖概率建模。

提出的方法

• UNICON 使用基于 Jensen-Shannon 散度的均匀选择机制，确保所选干净样本集中每个类别均等表示，避免对易分类别的偏差。
• 该方法通过并行训练两个相同的网络，迭代地执行样本分离，利用其平均预测结果识别干净样本。
• 通过类别均衡策略选择干净样本，强制在所有类别间实现均匀性，提升选择的公平性与伪标签质量。
• 在干净样本集上应用对比学习，以学习不变且抗噪声的特征表示，降低记忆错误标签的风险。
• 框架在均匀选择与带对比损失的半监督训练之间交替进行，直至收敛，从而提升泛化能力。
• 该方法通过基于散度的均匀性与集成平均来实现鲁棒性，避免了超参数调优与概率建模。

实验结果

研究问题

• RQ1 在高标签噪声下，对所选干净样本集强制实现类别均衡是否能提升性能？
• RQ2 基于 Jensen-Shannon 散度的均匀选择是否在选择精度与公平性方面优于基于小损失的选择方法？
• RQ3 对比学习在半监督训练中在多大程度上减少了对标签噪声的记忆？
• RQ4 在极端噪声水平（如 90% 或更高）下，UNICON 与当前 SOTA 方法相比表现如何？
• RQ5 该方法在无需数据集特定调优的情况下，对不同噪声率与数据集分布是否具有鲁棒性？

主要发现

• 在 CIFAR100 上 90% 标签噪声率下，UNICON 相较于当前 SOTA 方法 DMix 实现了 11.4% 的准确率提升，展现出在极端噪声下的强大性能。
• 在 90% 噪声率下，UNICON 在 CIFAR10 上达到 90.81% 的 Top-1 准确率，而 DMix 仅为 76.08%，显示出显著的性能优势。
• 该方法在所有噪声水平下均保持高选择精度，ROC-AUC 分数即使在 98% 噪声下仍持续上升，表明对干净样本识别具有可靠性。
• 移除对比学习后，CIFAR10 上测试准确率下降 3.53%，CIFAR100 上下降 2.99%（在 90% 噪声下），证明其在减少记忆化中的关键作用。
• 类别均衡选择显著提升性能；移除均衡先验导致准确率大幅下降，证实其在防止选择偏差中的重要性。
• 与 DMix 相比，UNICON 在 ImageNet-1K 上 Top-5 准确率提升 1.88%，表明其泛化能力超越 CIFAR 基准。