[论文解读] Probabilistic End-to-end Noise Correction for Learning with Noisy Labels

Kun Yi, Jianxin Wu|arXiv (Cornell University)|Mar 19, 2019

Machine Learning and Data Classification参考文献 31被引用 67

一句话总结

PENCIL 同时训练神经网络并更新标签分布以端到端纠正嘈杂标签，无需干净的辅助数据集或先验噪声信息。

ABSTRACT

Deep learning has achieved excellent performance in various computer vision tasks, but requires a lot of training examples with clean labels. It is easy to collect a dataset with noisy labels, but such noise makes networks overfit seriously and accuracies drop dramatically. To address this problem, we propose an end-to-end framework called PENCIL, which can update both network parameters and label estimations as label distributions. PENCIL is independent of the backbone network structure and does not need an auxiliary clean dataset or prior information about noise, thus it is more general and robust than existing methods and is easy to apply. PENCIL outperforms previous state-of-the-art methods by large margins on both synthetic and real-world datasets with different noise types and noise rates. Experiments show that PENCIL is robust on clean datasets, too.

研究动机与目标

• 在无法获得干净数据或噪声先验的深度网络中，推动在嘈杂标签下的鲁棒学习。
• 提出一种在训练过程中可更新以纠正噪声的概率标签模型。
• 开发一个端到端学习框架，更新网络参数和逐样本标签分布。
• 在合成和真实世界嘈杂标签数据集上展示鲁棒性和最先进的性能。

提出的方法

• 将每个图像标签建模为一个类别分布（标签分布），而不是固定的独热标签。
• 通过反向传播联合优化网络参数和逐样本标签分布。
• 使用基于相对于标签分布的 KL 散度变体的分类损失（L_c），并解释其梯度性质以促进有效的噪声纠正。
• 包括一个兼容性损失（L_o），将标签分布与嘈杂标签联系起来而不丢失有用信息。
• 添加一个熵正则化项（L_e），以防止过早收敛到平坦预测并鼓励区分性输出。
• 提供一个三步训练工作流：以高学习率进行骨干网络的预训练、PENCIL 的端到端学习以纠正噪声，以及以固定标签分布进行的最终微调。

实验结果

研究问题

• RQ1 在没有外部干净数据或噪声先验的情况下，标签分布能否有效地端到端更新以纠正嘈杂标签？
• RQ2 用可学习的标签分布替代固定标签是否能提升对对称噪声和不对称噪声在各数据集上的鲁棒性？
• RQ3 与传统的 KL 损失相比，所提出的损失形式如何影响用于纠正嘈杂标签的梯度更新？
• RQ4 PENCIL 在真实世界的嘈杂数据以及干净数据集上是否鲁棒？

主要发现

• PENCIL 在 CIFAR-10、CIFAR-100 和 Clothing1M 上在各种噪声类型和比率下相较于现有方法取得了大幅领先。
• 在干净数据集上的鲁棒性维持，且在实践中学习的标签分布与真实标签一致。
• PENCIL 对中等噪声水平在合成数据（对称和不对称）及真实世界数据集上表现出强鲁棒性。
• 在非常高噪声（80% 对称）的一种极端情形揭示了一个失败模式：正确标签成为少数，方法难以应对，凸显其局限性。
• 该方法不需要辅助的干净数据或关于噪声转移矩阵的先验知识，因此具有广泛的适用性。