[论文解读] Neighborhood Collective Estimation for Noisy Label Identification and Correction

Jichang Li, Guanbin Li+2 more|arXiv (Cornell University)|Aug 5, 2022

Machine Learning and Data Classification被引用 6

一句话总结

该论文提出了一种名为邻域集体估计（NCE）的新方法，用于学习带噪声标签的数据，通过利用特征空间中的最近邻来减少确认偏误，从而提升噪声标签的识别与修正能力。通过将每个样本与其邻居进行对比，NCE在两个阶段——噪声验证与标签修正——中增强了预测的可靠性，在高噪声比率下于CIFAR-10、CIFAR-100、Clothing-1M和Webvision-1.0数据集上实现了最先进性能。

ABSTRACT

Learning with noisy labels (LNL) aims at designing strategies to improve model performance and generalization by mitigating the effects of model overfitting to noisy labels. The key success of LNL lies in identifying as many clean samples as possible from massive noisy data, while rectifying the wrongly assigned noisy labels. Recent advances employ the predicted label distributions of individual samples to perform noise verification and noisy label correction, easily giving rise to confirmation bias. To mitigate this issue, we propose Neighborhood Collective Estimation, in which the predictive reliability of a candidate sample is re-estimated by contrasting it against its feature-space nearest neighbors. Specifically, our method is divided into two steps: 1) Neighborhood Collective Noise Verification to separate all training samples into a clean or noisy subset, 2) Neighborhood Collective Label Correction to relabel noisy samples, and then auxiliary techniques are used to assist further model optimization. Extensive experiments on four commonly used benchmark datasets, i.e., CIFAR-10, CIFAR-100, Clothing-1M and Webvision-1.0, demonstrate that our proposed method considerably outperforms state-of-the-art methods.

研究动机与目标

• 为解决在学习带噪声标签时出现的确认偏误问题，该问题源于模型在噪声验证与修正过程中依赖于可能错误的个体预测。
• 通过引入样本在特征空间中最近邻的集体信息，提升噪声标签识别的可靠性。
• 开发一种两阶段框架——邻域集体噪声验证（NCNV）与邻域集体标签修正（NCLC），以增强在高噪声比率下的模型鲁棒性。
• 缓解在高噪声场景下性能下降的问题，其中标准方法因伪标签偏倚和对噪声标签的过拟合而失效。
• 验证一致性正则化与样本扰动在模型优化过程中提升泛化能力的有效性。

提出的方法

• NCE通过将候选样本的标签分布与其在特征空间中的最近邻的标签分布进行比较，重新估计其预测可靠性，从而减少个体预测偏误。
• 在NCNV阶段，根据样本预测标签与其中最近邻聚合标签分布之间的一致性，判断样本为干净或噪声样本。
• 在NCLC阶段，通过聚合对比邻居的预测结果，采用邻域集体估计过程对噪声样本进行重标注，生成更可靠的伪标签。
• 该方法在未标注（噪声）样本上应用一致性正则化，利用扰动输入以稳定训练并提升泛化能力。
• 框架集成了诸如置信度阈值和一致性损失等辅助技术，以进一步优化模型性能。
• 通过t-SNE的特征可视化证实，误分类样本聚集在决策边界附近，而正确重标注的样本则位于聚类核心，验证了该方法的设计原理。

实验结果

研究问题

• RQ1 与基于个体预测的方法相比，基于邻域的集体估计是否能有效减少噪声标签识别中的确认偏误？
• RQ2 利用特征空间最近邻如何提升噪声标签验证与修正的准确性？
• RQ3 在高噪声学习场景中，一致性正则化与输入扰动对模型泛化能力有何影响？
• RQ4 在具有不同噪声水平的多样化基准数据集上，NCE的性能与现有最先进方法相比如何？
• RQ5 在如Clothing-1M和Webvision-1.0中存在类别不平衡的噪声数据时，该方法是否仍保持鲁棒性？

主要发现

• NCE在CIFAR-10、CIFAR-100、Clothing-1M和Webvision-1.0上均优于现有最先进方法，尤其在高噪声比率下（如CIFAR-100的0.80）表现更优，展现出卓越的泛化能力。
• 在对称噪声比率0.80的CIFAR-100上，NCNV阶段在第300个周期实现95.2%的训练样本识别准确率，表明其具有强收敛性与可靠性。
• 关闭一致性损失（L^lab）后，平均准确率在不同噪声比率下下降1.7%至7.6%，证实其在模型优化中的关键作用。
• 若在一致性正则化中用未扰动输入替代扰动输入，平均准确率下降4.7%，证明扰动对有效正则化至关重要。
• t-SNE可视化结果表明，正确重标注的样本集中于聚类核心，而误分类与被丢弃的样本则位于边界附近，验证了该方法的设计原则。
• 消融实验表明，邻域集体估计显著降低了将干净样本错误识别为噪声样本的概率，尤其在难分类或类别不平衡的类别中效果明显。