[论文解读] Understanding (Generalized) Label Smoothing when Learning with Noisy Labels.

Jiaheng Wei, Hangyu Liu+3 more|arXiv (Cornell University)|Jun 8, 2021

Machine Learning and Data Classification参考文献 50被引用 7

一句话总结

本文提出了广义标签平滑（GLS），统一了正标签平滑（PLS）与负标签平滑（NLS），并证明此前被忽视的NLS在高标签噪声下显著提升了模型鲁棒性，优于标准PLS。该研究提供了理论与实证证据，表明当噪声率较高时，NLS能增强模型置信度与泛化能力。

ABSTRACT

Label smoothing (LS) is an arising learning paradigm that uses the positively weighted average of both the hard training labels and uniformly distributed soft labels. It was shown that LS serves as a regularizer for training data with hard labels and therefore improves the generalization of the model. Later it was reported LS even helps with improving robustness when learning with noisy labels. However, we observe that the advantage of LS vanishes when we operate in a high label noise regime. Puzzled by the observation, we proceeded to discover that several proposed learning-with-noisy-labels solutions in the literature instead relate more closely to negative label smoothing (NLS), which defines as using a negative weight to combine the hard and soft labels! We show that NLS functions substantially differently from LS in their achieved model confidence. To differentiate the two cases, we will call LS the positive label smoothing (PLS), and this paper unifies PLS and NLS into generalized label smoothing (GLS). We provide understandings for the properties of GLS when learning with noisy labels. Among other established properties, we theoretically show NLS is considered more beneficial when the label noise rates are high. We provide experimental results to support our findings too.

研究动机与目标

• 探究为何标签平滑（LS）在高标签噪声下效果减弱，挑战了LS普遍提升鲁棒性的假设。
• 识别出许多现有噪声标签学习方法实际上隐式实现了负标签平滑（NLS），而非标准LS。
• 正式将正标签平滑（PLS）与NLS统一为广义标签平滑（GLS）框架，以增进理论与实践理解。
• 分析PLS与NLS在模型置信度与泛化能力方面的行为差异，特别是在噪声标签下的表现。
• 从理论上与实证上确立：当标签噪声率较高时，NLS优于PLS。

提出的方法

• 提出一种名为广义标签平滑（GLS）的统一框架，通过平滑系数参数化，可取正值（PLS）或负值（NLS），用于结合硬标签与均匀软标签。
• 推导GLS的理论性质，表明在高噪声下，NLS能提升模型置信度并发挥更强正则化作用。
• 分析平滑系数对模型校准与泛化的影响，尤其在存在噪声标签时的表现。
• 在具有可控标签噪声的基准数据集上进行实证评估，比较不同噪声率下PLS、NLS与标准LS的表现。
• 提出一种机制，通过分析其标签组合策略，识别现有方法是否隐式使用NLS。
• 为NLS在高噪声下表现更优提供理论依据，将其与更优的置信度校准及更少过拟合现象相联系。

实验结果

研究问题

• RQ1 为何标准标签平滑（PLS）在高标签噪声环境下失效，与其在低噪声设置下的已知优势相悖？
• RQ2 现有噪声标签学习方法与负标签平滑（NLS）有何关联？为何NLS在高噪声下可能优于PLS？
• RQ3 正标签平滑（PLS）与负标签平滑（NLS）在模型行为上存在哪些理论与实证差异？
• RQ4 能否通过统一框架——广义标签平滑（GLS）——有效捕捉PLS与NLS？在何种条件下各变体表现更优？
• RQ5 当标签噪声率较高时，NLS是否相比PLS能带来更高的模型置信度与更好的泛化能力？

主要发现

• 在高标签噪声环境下，负标签平滑（NLS）比正标签平滑（PLS）更有效，与PLS普遍提升鲁棒性的常见假设相悖。
• 理论分析表明，NLS能提升模型置信度并发挥更强正则化作用，有助于缓解对噪声标签的过拟合。
• 许多现有噪声标签学习方法实际上隐式实现了NLS而非PLS，解释了其虽未明确设计却仍具备鲁棒性的原因。
• 实证结果证实，当标签噪声率超过50%时，NLS在准确率与泛化能力方面均优于PLS与标准LS。
• 广义标签平滑（GLS）成功将PLS与NLS统一为单一框架，实现了对不同噪声水平下平滑行为的系统性分析。
• 本研究证明，与PLS相比，NLS下的模型置信度显著更高，这与噪声环境下鲁棒性的提升密切相关。