[论文解读] Understanding Instance-Level Label Noise: Disparate Impacts and Treatments

Yang Liu|arXiv (Cornell University)|Feb 10, 2021

Machine Learning and Data Classification被引用 9

一句话总结

本文对过参数化模型中的实例级标签噪声提供了理论分析，揭示了噪声标签对低频实例的损害尤为严重，且现有鲁棒学习方法在处理高频与低频实例时存在差异——通常无法有效纠正长尾情况下的噪声。本文建立了Peer Loss和损失校正等方法改善泛化性能的理论条件，为噪声标签学习中的经验观察提供了理论依据。

ABSTRACT

This paper aims to provide understandings for the effect of an over-parameterized model, e.g. a deep neural network, memorizing instance-dependent noisy labels. We first quantify the harms caused by memorizing noisy instances, and show the disparate impacts of noisy labels for sample instances with different representation frequencies. We then analyze how several popular solutions for learning with noisy labels mitigate this harm at the instance level. Our analysis reveals that existing approaches lead to disparate treatments when handling noisy instances. While higher-frequency instances often enjoy a high probability of an improvement by applying these solutions, lower-frequency instances do not. Our analysis reveals new understandings for when these approaches work, and provides theoretical justifications for previously reported empirical observations. This observation requires us to rethink the distribution of label noise across instances and calls for different treatments for instances in different regimes.

研究动机与目标

• 理解标签噪声对不同表示频率实例的泛化性能产生的差异化影响。
• 分析现有鲁棒学习方法在实例层面的表现，特别是其对高频与低频样本中噪声标签的处理能力。
• 提供流行方法在何种条件下可超越对噪声标签的记忆化并改善泛化性能的理论条件，以及其在何种情况下会失效。
• 解释经验观察现象，如Peer Loss能诱导出置信预测，且在无需噪声率知识的情况下仍优于损失校正。

提出的方法

• 将Feldman（2020）的分析框架扩展至量化实例层面记忆噪声标签的影响。
• 引入对Peer Loss（PL）和损失校正的训练损失的概率分析，使用转移矩阵和标签先验。
• 推导在给定实例频率 $ l $ 条件下，预测真实标签导致更低训练损失的概率边界。
• 利用Kullback-Leibler散度和集中不等式，界定Peer Loss在低频实例上失败的概率。
• 通过分析其隐式使用后验分布来校正标签噪声的方式，比较Peer Loss与损失校正的异同。
• 采用Chernoff不等式和尾部概率估计等理论工具，评估不同实例频率下噪声校正的可靠性。

实验结果

研究问题

• RQ1 实例在训练数据中的频率如何影响其噪声标签对模型泛化性能的影响？
• RQ2 在何种条件下，现有鲁棒学习方法能成功在实例层面校正噪声标签？
• RQ3 为何Peer Loss在未显式掌握噪声转移矩阵的情况下仍表现良好，其失效条件是什么？
• RQ4 Peer Loss错误预测低频实例错误标签的概率是多少？
• RQ5 泛化误差的理论边界如何解释噪声标签学习中的经验观察？

主要发现

• 高频实例因噪声标签导致的泛化损失更大，但由于标签信息丰富，更可能被现有方法纠正。
• 低频实例尽管对整体泛化误差的贡献较小，却在噪声校正中面临显著失败风险，Peer Loss错误预测错误标签的概率至少为 $ \frac{1}{\sqrt{2l}}e^{-l\cdot D_{\text{KL}}\left(\frac{1}{2}\|e_{\text{sgn}(y)}\right)} $。
• 当数据充足时，Peer Loss以至少 $ 1 - e^{-\frac{2l}{p^{2}_{\text{sgn}(-y)}(1 - e_{+} - e_{-})^{2}}} $ 的概率改善高频实例的泛化误差，优于损失校正。
• 理论分析证实，Peer Loss能诱导出置信预测（引理3），解释了其在无需显式噪声率知识情况下的经验成功。
• 损失校正与Peer Loss均隐式利用后验分布来校正噪声，但Peer Loss更激进地放大预测，当数据充足时表现更优。
• 本文揭示，现有方法导致了非对称处理：高频实例可被可靠校正，而低频实例则面临极高的错误校正风险，尤其在Peer Loss下更为显著。