[论文解读] Normalized Loss Functions for Deep Learning with Noisy Labels

Xingjun Ma, Hanxun Huang+4 more|arXiv (Cornell University)|Jun 24, 2020

Machine Learning and Data Classification被引用 125

一句话总结

该论文表明任何损失都可以通过归一化使对噪声标签具有鲁棒性，提出 Active Passive Loss (APL) 以解决欠拟合，并在强标签噪声下在基准数据集上展示了最先进的性能。

ABSTRACT

Robust loss functions are essential for training accurate deep neural networks (DNNs) in the presence of noisy (incorrect) labels. It has been shown that the commonly used Cross Entropy (CE) loss is not robust to noisy labels. Whilst new loss functions have been designed, they are only partially robust. In this paper, we theoretically show by applying a simple normalization that: any loss can be made robust to noisy labels. However, in practice, simply being robust is not sufficient for a loss function to train accurate DNNs. By investigating several robust loss functions, we find that they suffer from a problem of underfitting. To address this, we propose a framework to build robust loss functions called Active Passive Loss (APL). APL combines two robust loss functions that mutually boost each other. Experiments on benchmark datasets demonstrate that the family of new loss functions created by our APL framework can consistently outperform state-of-the-art methods by large margins, especially under large noise rates such as 60% or 80% incorrect labels.

研究动机与目标

• 激发在有噪声标签条件下的鲁棒学习动机，并比较现有的鲁棒损失。
• 提出一种归一化技术，使任意损失对标签噪声具有鲁棒性。
• 识别鲁棒损失中的欠拟合问题并设计 Active Passive Loss (APL) 框架。
• 在高噪声率的基准数据集上，实证展示 APL 的鲁棒性及学习性能的提升。

提出的方法

• 通过 L_norm = L(f(x), y) / sum_j L(f(x), j) 将损失归一化，以实现对标签噪声的鲁棒性。
• 定义并比较主动损失与被动损失；主动损失最大化 p(y|x)，而被动损失也最小化其他类别的概率。
• 提出 Active Passive Loss (APL) 记作 L_APL = alpha * L_Active + beta * L_Passive，并在某些条件下证明鲁棒性得以保持。
• 将现有鲁棒损失（如 CE、MAE、RCE、NCE、NFL）归类为主动或被动，并展示 APL 如何将它们结合以解决欠拟合。
• 给出理论引理，证明在归一化损失下对对称与非对称噪声具备鲁棒性。
• 在 MNIST、CIFAR-10/100 和 WebVision 上进行实证研究，将 APL 与最先进方法进行比较。

实验结果

研究问题

• RQ1 归一化是否能使任意损失在多分类任务中对噪声标签具备鲁棒性？
• RQ2 为何某些鲁棒损失会欠拟合，结合主动-被动框架是否能同时提升鲁棒性和学习效果？
• RQ3 在高噪声率下，Active Passive Loss (APL) 框架是否达到最先进的鲁棒性与学习效率？
• RQ4 在简单与复杂数据集上，主动项与被动项的平衡应如何设定？
• RQ5 现有损失的归一化变体是否在保持鲁棒性的同时实现有效学习？

主要发现

• 归一化的损失在给定的噪声率条件下对对称和非对称标签噪声具有鲁棒性。
• 简单归一化保持鲁棒性，但鲁棒性 alone 不足以实现高准确率，因为存在欠拟合。
• APL 将主动损失和被动损失结合，带来鲁棒性和学习效率的提升，在高噪声（60–80%）下超过最先进方法。
• 对归一化损失进行缩放并不能始终解决欠拟合；合适的主动-被动平衡至关重要。
• 在 CIFAR-10/100 和 MNIST 上，APL 变体（如 NCE+RCE、NFL+RCE）在各种噪声设置下的表现与 GCE、NLNL、SCE 相比具有竞争力甚至更优。