[论文解读] The importance of understanding instance-level noisy labels.

Yang Liu|arXiv (Cornell University)|Feb 10, 2021

Machine Learning and Data Classification被引用 9

一句话总结

本文研究了过参数化深度神经网络在个体样本层面如何记忆与实例相关的噪声标签，分析了其造成的损害。通过考察现有噪声鲁棒方法的实例级缓解策略，提供了关于这些方法在何时以及为何有效的理论见解，重点关注细粒度标签噪声的影响。

ABSTRACT

This paper aims to provide understandings for the effect of an over-parameterized model, e.g. a deep neural network, memorizing instance-dependent noisy labels. We first quantify the harms caused by memorizing noisy instances from different spectra of the sample distribution. We then analyze how several popular solutions for learning with noisy labels mitigate this harm at the instance-level. Our analysis reveals new understandings for when these approaches work, and provides theoretical justifications for previously reported empirical observations. A key aspect of the analysis is its focus on each training instance.

研究动机与目标

• 理解实例相关噪声标签对过参数化深度神经网络在单个训练样本层面的影响。
• 量化在数据分布不同区域中记忆噪声标签所造成的损害。
• 分析主流噪声鲁棒学习方法如何在实例层面减轻损害。
• 为现有噪声鲁棒训练技术有效性的经验观察提供理论依据。

提出的方法

• 作者通过分析模型在接触噪声标签后每个训练样本的预测误差，研究深度神经网络的记忆行为。
• 通过测量模型预测与真实标签在实例层面的偏差，量化噪声标签造成的损害。
• 通过评估其在减少由标签噪声引起的实例级误差方面的能力，研究现有方法（如损失校正、一致性训练和鲁棒优化）的性能。
• 开展理论分析，解释这些方法在何种条件下能有效抑制对噪声实例的记忆。
• 聚焦于数据分布的谱成分，评估噪声对输入空间不同区域的影响。

实验结果

研究问题

• RQ1 实例相关标签噪声如何影响过参数化模型在单个样本层面的泛化性能？
• RQ2 数据分布的哪些区域最容易因噪声标签记忆而受损？
• RQ3 现有噪声鲁棒学习方法在多大程度上缓解了噪声标签造成的实例级损害？
• RQ4 哪些理论条件解释了实践中噪声鲁棒训练方法有效性的观察结果？

主要发现

• 对实例相关噪声标签的记忆导致显著的性能下降，尤其在数据分布的高密度区域更为严重。
• 噪声标签记忆造成的损害并非均匀分布，对决策边界附近或高曲率区域的样本最为严重。
• 当噪声具有结构性而非随机性时，损失校正和一致性训练等方法能更有效地降低实例级误差。
• 理论分析证实，当噪声模式在相似样本间具有可预测性和一致性时，鲁棒优化技术效果最佳。
• 研究发现，一些广泛使用的方法在低密度区域或异常值区域无法有效缓解损害，因为这些区域的噪声更难被纠正。