[论文解读] Open-set Label Noise Can Improve Robustness Against Inherent Label Noise

Hongxin Wei, Lue Tao+2 more|arXiv (Cornell University)|Jun 21, 2021

Machine Learning and Data Classification参考文献 77被引用 30

一句话总结

这篇论文表明开放集标签噪声在固有标签噪声鲁棒性方面可以是非有害的甚至有益，并引入带有动态嘈杂标签的开放集正则化（Open-set Regularization with Dynamic Noisy Labels，ODNL）以消耗模型容量并提升泛化能力和 OOD 检测。

ABSTRACT

Learning with noisy labels is a practically challenging problem in weakly supervised learning. In the existing literature, open-set noises are always considered to be poisonous for generalization, similar to closed-set noises. In this paper, we empirically show that open-set noisy labels can be non-toxic and even benefit the robustness against inherent noisy labels. Inspired by the observations, we propose a simple yet effective regularization by introducing Open-set samples with Dynamic Noisy Labels (ODNL) into training. With ODNL, the extra capacity of the neural network can be largely consumed in a way that does not interfere with learning patterns from clean data. Through the lens of SGD noise, we show that the noises induced by our method are random-direction, conflict-free and biased, which may help the model converge to a flat minimum with superior stability and enforce the model to produce conservative predictions on Out-of-Distribution instances. Extensive experimental results on benchmark datasets with various types of noisy labels demonstrate that the proposed method not only enhances the performance of many existing robust algorithms but also achieves significant improvement on Out-of-Distribution detection tasks even in the label noise setting.

研究动机与目标

• 研究在标签噪声下，开放集嘈杂标签是否可能无害或对泛化有益。
• 分析开放集辅助数据如何影响训练动态和对固有标签噪声的鲁棒性。
• 提出一种实用的正则化技术（ODNL），使用动态开放集标签来消耗神经网络容量而不损害对干净数据的学习。
• 从理论上将该方法与 SGD 噪声关联并与相关方法（OE、SLN、标签随机化）进行对比。
• 在 CIFAR-10/100 和 Clothing1M 上证明有效性，包括在标签噪声下改进 OOD 检测。

提出的方法

• 通过在训练期间将开放集辅助数据与随机且动态分配的标签配对（标签集合中均匀抽样）来引入带有动态嘈杂标签的开放集样本（ODNL）。
• 将训练目标公式化为 L_total = L1 + eta * L2，其中 L1 是干净数据的标准交叉熵，L2 对开放集数据与动态随机标签的一致性进行约束。
• 提供 SGD 噪声分析，表明 ODNL 引入随机方向、无冲突且有偏倚的噪声，有助于收敛到平坦极小值并促进保守的 OOD 预测。
• 表明 ODNL 可以与现有鲁棒训练方法（样本选择、损失修正、鲁棒损失）结合以提升性能。
• 将 ODNL 与相关技术（OE、SLN、DisturbLabel）进行比较，并讨论动态性差异及对固有标签噪声鲁棒性的影响。

实验结果

研究问题

• RQ1 开放集嘈杂标签在固有标签噪声下能否无害或有益于泛化？
• RQ2 引入带有动态嘈杂标签的开放集辅助数据如何影响训练动态和对标签噪声的鲁棒性？
• RQ3 ODNL 是否能提升 OOD 检测并与现有鲁棒训练方法结合？
• RQ4 ODNL 引发的 SGD 噪声与其他标签噪声正则化方法之间的关系是什么？
• RQ5 ODNL 在具有真实世界噪声标签的标准基准数据集（CIFAR-10/100，Clothing1M）上是否有效？

主要发现

• 当辅助数据集规模足够大时，开放集嘈杂标签对固有标签噪声的鲁棒性可能无害或有益。
• ODNL 在 CIFAR-10/100 和 Clothing1M 上稳定提升鲁棒性，并在标签噪声下改善 OOD 检测。
• ODNL 提升了多种现有鲁棒训练方法的性能（例如 Decoupling、F-correction、PHuber-CE、Co-teaching、JoCoR）。
• SGD 噪声分析表明 ODNL 引入随机方向、无冲突且有偏倚的噪声，有助于达到平坦极小值并产生保守的 OOD 预测。
• 与 Outlier Exposure（OE）相比，ODNL 提供动态噪声，并在对噪声标签的鲁棒性方面显示出更优的提升。