[论文解读] Which Strategies Matter for Noisy Label Classification? Insight into Loss and Uncertainty

Wonyoung Shin, Jung-Woo Ha+4 more|arXiv (Cornell University)|Aug 14, 2020

Machine Learning and Data Classification参考文献 41被引用 5

一句话总结

本文提出 FOCI（Focus On Clean and Informative samples），一种新颖的鲁棒训练方法，通过动态强调低损失、高不确定性样本（表明为干净且信息量丰富）来提升深度学习在标签噪声数据集上的性能，同时降低高损失样本的权重（这些样本很可能为噪声样本）。大量实验表明，FOCI 在合成数据集和真实世界数据集（包括 Clothing1M）上显著优于当前最先进方法，并在多种神经网络架构间展现出良好的泛化能力。

ABSTRACT

Label noise is a critical factor that degrades the generalization performance of deep neural networks, thus leading to severe issues in real-world problems. Existing studies have employed strategies based on either loss or uncertainty to address noisy labels, and ironically some strategies contradict each other: emphasizing or discarding uncertain samples or concentrating on high or low loss samples. To elucidate how opposing strategies can enhance model performance and offer insights into training with noisy labels, we present analytical results on how loss and uncertainty values of samples change throughout the training process. From the in-depth analysis, we design a new robust training method that emphasizes clean and informative samples, while minimizing the influence of noise using both loss and uncertainty. We demonstrate the effectiveness of our method with extensive experiments on synthetic and real-world datasets for various deep learning models. The results show that our method significantly outperforms other state-of-the-art methods and can be used generally regardless of neural network architectures.

研究动机与目标

• 理解在存在标签噪声的情况下，损失和不确定性在训练过程中的演变规律，以及相反策略（例如强调高损失 vs. 低损失，高不确定性 vs. 低不确定性）对模型性能的影响。
• 解决真实世界数据中常见的非对称标签噪声问题，传统基于损失或不确定性的方法难以可靠识别噪声样本。
• 设计一种统一的、与架构无关的训练方法，优先处理干净且信息丰富的样本，同时最小化噪声数据的影响。
• 验证该方法在多种深度学习模型和噪声水平（包括高达 70% 的极端噪声率）下的鲁棒性与泛化能力。

提出的方法

• FOCI 使用样本加权机制，为损失低且不确定性高的样本分配更高权重，因为这些样本最有可能是干净且信息丰富的。
• 它降低高损失样本的权重，因为这些样本与噪声标签强相关，尤其是在非对称噪声设置下。
• 该方法在训练过程中动态调整样本权重，从一个预热阶段后开始，逐步强调干净且信息丰富的样本。
• 加权策略基于交叉熵损失和预测熵的组合，分别用于衡量损失和不确定性。
• FOCI 实现为一个轻量级模块，可与任何深度学习架构兼容，无需架构修改或额外训练组件。
• 该方法采用标准优化方式端到端训练，使用温度缩放的加权函数以稳定学习过程。

实验结果

研究问题

• RQ1 在对称和非对称标签噪声设置下，样本的损失和不确定性值在训练过程中如何变化？
• RQ2 为何相反策略（如强调高损失或高不确定性样本）在看似矛盾的情况下仍能提升性能？
• RQ3 在存在非对称标签噪声的情况下，结合损失和不确定性度量能否有效识别干净且信息丰富的样本？
• RQ4 基于低损失和高不确定性的统一加权策略，在多大程度上能提升在多样化数据集和模型架构上的鲁棒性？

主要发现

• 在真实世界数据集 Clothing1M 上，FOCI 达到 73.78% 的准确率，显著优于先前 SOTA 方法如 PENCIL（73.49%）和 MLNT（73.47%）。
• 在 CIFAR-100 且具有 40% 非对称噪声的设置下，FOCI 在基于低损失和高不确定性加权时达到 59.5% 的准确率，显著优于等权重（57.1%）或仅基于低损失的加权（52.4%）。
• 该方法在架构间具有良好的泛化能力：FOCI 在 ResNet50、DenseNet 和 Wide ResNet 上均取得最高准确率，即使模型容量不同。
• 权重分布分析显示，干净样本获得更高权重，并保持非零权重更长时间，而噪声样本在训练过程中被逐步降低权重。
• 在非对称噪声设置下，低损失且高不确定性的样本是最可靠的干净数据指标，而高损失样本则主要为噪声样本。
• 消融实验表明，等权重策略的表现劣于 FOCI 的联合损失-不确定性加权策略，表明两种度量指标对最优性能均不可或缺。