[论文解读] SplitNet: Learnable Clean-Noisy Label Splitting for Learning with Noisy Labels

Dae-Hwan Kim, Kwangrok Ryoo+2 more|arXiv (Cornell University)|Nov 20, 2022

Machine Learning and Data Classification被引用 4

一句话总结

SplitNet 提出了一种可学习的、端到端的模块，用于在学习带噪声标签（LNL）时进行干净-噪声标签分离，利用分离置信度动态调整半监督学习的阈值。它在多种基准测试中实现了最先进（SOTA）的性能，尤其是在高噪声比率下表现优异，且仅使用单一模型和极少的超参数调优。

ABSTRACT

Annotating the dataset with high-quality labels is crucial for performance of deep network, but in real world scenarios, the labels are often contaminated by noise. To address this, some methods were proposed to automatically split clean and noisy labels, and learn a semi-supervised learner in a Learning with Noisy Labels (LNL) framework. However, they leverage a handcrafted module for clean-noisy label splitting, which induces a confirmation bias in the semi-supervised learning phase and limits the performance. In this paper, we for the first time present a learnable module for clean-noisy label splitting, dubbed SplitNet, and a novel LNL framework which complementarily trains the SplitNet and main network for the LNL task. We propose to use a dynamic threshold based on a split confidence by SplitNet to better optimize semi-supervised learner. To enhance SplitNet training, we also present a risk hedging method. Our proposed method performs at a state-of-the-art level especially in high noise ratio settings on various LNL benchmarks.

研究动机与目标

• 解决手工设计的干净-噪声标签分离方法在 LNL 中的局限性，这些方法在高噪声比率下易受确认偏误影响且泛化能力差。
• 开发一种可学习的、数据驱动的模块（SplitNet），利用预测历史和损失分布，超越传统基于高斯混合模型（GMM）的方法，实现更优的样本区分能力。
• 设计一种基于分离置信度的动态阈值机制，以稳定半监督学习并减少在噪声环境下的过拟合。
• 通过引入风险对冲策略，实现对噪声比率不敏感的鲁棒训练，该策略根据模型置信度和估计的噪声水平自适应调整训练课程。
• 在多个基准测试中，仅使用单一模型和固定超参数，实现最先进性能，提升实际部署的可行性。

提出的方法

• 提出 SplitNet，一种深度神经网络，以预测历史和样本级损失作为输入，端到端可训练地预测样本的干净/噪声标签。
• 使用分离置信度——一种表示预测确定性的学习得分——来动态设定半监督学习中伪标签的阈值，替代固定阈值。
• 实施一种交替训练框架，其中主网络和 SplitNet 交替更新：主网络提供预测和损失，SplitNet 提供干净数据和置信度得分。
• 在 SplitNet 预训练阶段应用 K 折交叉过滤，通过过滤低置信度样本提升数据质量，减少监督信号中的噪声。
• 引入风险对冲：一种课程学习策略，优先处理高置信度的干净和噪声样本，提升 SplitNet 的鲁棒性并减少确认偏误。
• 基于分离置信度的动态阈值优化主网络，确保仅使用高置信度伪标签进行 SSL，提升训练稳定性。

实验结果

研究问题

• RQ1 可学习的、基于神经网络的模块是否能在高标签噪声下超越手工设计的方法（如 GMM）在区分干净与噪声样本方面的能力？
• RQ2 将预测历史引入标签分离是否能提升性能，尤其是在模糊样本上，相较于仅依赖损失的方法？
• RQ3 基于分离置信度的动态阈值在噪声标签设置下，对半监督学习的稳定性和准确性提升程度如何？
• RQ4 风险对冲能否通过创建自适应的自然课程，使模型对噪声比率不敏感，而无需显式估计噪声比率？
• RQ5 所提出的框架是否能在多种基准测试中，仅使用单一模型和固定超参数，在不同噪声比率下均实现最先进性能？

主要发现

• 在 CIFAR-100 且标签噪声率达 90% 的情况下，SplitNet 实现了 72.1% 的 top-1 准确率，显著优于 DivideMix（68.4%）和 AugDesc（69.2%）。
• 该方法在 CIFAR-100 上所有测试的噪声比率（20%、40%、60%、80%、90%）下均表现优异，仅使用单一模型和固定超参数，而先前方法需重新调参。
• 消融实验表明，在 CIFAR-100 且噪声率达 90% 的情况下，基于分离置信度的动态阈值相比固定阈值（0.5 或 0.95）可将错误伪标签数量减少 20–30%。
• 当 K ≥ 8 时，K 折交叉过滤可稳定性能，且在 80% 和 90% 噪声设置下，准确率在 K=8 时趋于饱和，表明对划分方式具有鲁棒性。
• 训练时间高效：在 CIFAR-10 且噪声率为 20% 的情况下，SplitNet 仅用 8.2 小时完成训练，优于 AugDesc（8.7 小时），且与 DivideMix 竞争力相当。
• 消融研究证实，若移除 Batch Normalization 或预测差异模块，SplitNet 会出现训练失败或性能下降，验证了其网络架构设计的合理性。