[论文解读] Robust Loss Functions under Label Noise for Deep Neural Networks

Aritra Ghosh, Himanshu Kumar+1 more|arXiv (Cornell University)|Dec 27, 2017

Machine Learning and Data Classification参考文献 8被引用 151

一句话总结

该论文在多类设定下推导了损失函数对噪声容忍的充分条件，并证明在深度网络中，平均绝对误差（MAE）本质上对标签噪声具有鲁棒性，含理论结果与实证验证。

ABSTRACT

In many applications of classifier learning, training data suffers from label noise. Deep networks are learned using huge training data where the problem of noisy labels is particularly relevant. The current techniques proposed for learning deep networks under label noise focus on modifying the network architecture and on algorithms for estimating true labels from noisy labels. An alternate approach would be to look for loss functions that are inherently noise-tolerant. For binary classification there exist theoretical results on loss functions that are robust to label noise. In this paper, we provide some sufficient conditions on a loss function so that risk minimization under that loss function would be inherently tolerant to label noise for multiclass classification problems. These results generalize the existing results on noise-tolerant loss functions for binary classification. We study some of the widely used loss functions in deep networks and show that the loss function based on mean absolute value of error is inherently robust to label noise. Thus standard back propagation is enough to learn the true classifier even under label noise. Through experiments, we illustrate the robustness of risk minimization with such loss functions for learning neural networks.

研究动机与目标

• 提供在多类分类中损失函数对标签噪声鲁棒的分析条件。
• 将二元噪声鲁棒性结果推广到多类情形。
• 确定常用的满足噪声容忍性的损失函数，重点是 MAE。
• 实证地展示这些损失函数在深度网络中的鲁棒性。

提出的方法

• 定义 L-risk 和噪声模型（对称/均匀、简单非均匀、类别条件）。
• 建立损失对噪声容忍的充分条件（对称性条件及相关界）。
• 证明对称噪声、简单非均匀噪声和类别条件噪声下的鲁棒性结果（定理1–3）。
• 表明 MAE 满足对称性条件，因此对标签噪声鲁棒。
• 在各种噪声条件下，对 MAE、MSE 和 CCE 的图像和文本数据集进行实验比较。

实验结果

研究问题

• RQ1 在什么条件下损失函数在多类分类中对标签噪声具有鲁棒性？
• RQ2 哪些常用损失函数满足这些条件，它们在噪声下的表现如何？
• RQ3 MAE 是否可以在不修改架构或估计过程的情况下，在深度网络中提供固有的鲁棒性？
• RQ4 相对于 CCE 和 MSE，MAE 在不同数据集与噪声类型上的经验鲁棒性如何？

主要发现

• MAE 满足所提对称性条件，因此在多类设定下对称标签噪声具有噪声容忍性。
• 对称损失在噪声率满足 eta < (k-1)/k 时对均匀标签噪声具有鲁棒性。
• 对于简单非均匀噪声而言，如果无噪声的风险为零，则损失仍然鲁棒；否则推导出对噪声风险的界。
• 在类别条件噪声下，当噪声矩阵对角占优且损失按规定有界时，鲁棒性成立。
• 实证结果显示 MAE 在对称和类别条件标签噪声下，常常保持高于 CCE 的测试准确率，覆盖 MNIST、RCV1、CIFAR-10、IMDB 等数据集。
• MSE 由于有界性提供中间鲁棒性，但在高强度标签噪声下不如 MAE 鲁棒。