[论文解读] To Smooth or Not? When Label Smoothing Meets Noisy Labels

Jiaheng Wei, Hangyu Liu+4 more|arXiv (Cornell University)|Jun 8, 2021

Machine Learning and Data Classification被引用 16

一句话总结

本文研究了在存在噪声标签的情况下标签平滑（LS）与负标签平滑（NLS）的表现，表明尽管LS在低噪声下能提升泛化性能，但在高噪声下由于模型置信度提升，NLS反而更有效。关键贡献在于理论与实证地展示了最优平滑率的相变现象，当噪声率超过某一阈值时，NLS优于LS。

ABSTRACT

Label smoothing (LS) is an arising learning paradigm that uses the positively weighted average of both the hard training labels and uniformly distributed soft labels. It was shown that LS serves as a regularizer for training data with hard labels and therefore improves the generalization of the model. Later it was reported LS even helps with improving robustness when learning with noisy labels. However, we observed that the advantage of LS vanishes when we operate in a high label noise regime. Intuitively speaking, this is due to the increased entropy of $\mathbb{P}( ext{noisy label}|X)$ when the noise rate is high, in which case, further applying LS tends to "over-smooth" the estimated posterior. We proceeded to discover that several learning-with-noisy-labels solutions in the literature instead relate more closely to negative/not label smoothing (NLS), which acts counter to LS and defines as using a negative weight to combine the hard and soft labels! We provide understandings for the properties of LS and NLS when learning with noisy labels. Among other established properties, we theoretically show NLS is considered more beneficial when the label noise rates are high. We provide extensive experimental results on multiple benchmarks to support our findings too. Code is publicly available at https://github.com/UCSC-REAL/negative-label-smoothing.

研究动机与目标

• 理解在使用噪声标签训练时，标签平滑（LS）与负标签平滑（NLS）之间的权衡。
• 研究为何在高噪声标签环境下LS的有效性会下降，此时可能导致后验分布过度平滑。
• 从理论上和实证上证明NLS在高噪声下可提升模型置信度与泛化能力。
• 在特定噪声模型下，将NLS与现有鲁棒学习方法（如Loss Correction、NLNL和Peer Loss）建立联系。
• 提供一个基于估计噪声水平的最优平滑率选择的系统性框架。

提出的方法

• 提出广义标签平滑（GLS）公式，允许负平滑率，定义为 $\mathbf{y}^{\text{GLS},r} = (1-r)\cdot\mathbf{y} + \frac{r}{K}\cdot\mathbf{1}$，其中 $r \in (-\infty, 1]$。
• 理论上分析在噪声标签下的期望风险，并推导出当 $r$ 为负时，GLS可最小化真实风险的条件。
• 识别出最优平滑率 $r_{\text{opt}}$ 随标签噪声率 $e$ 变化的相变现象，显示在低噪声时 $r_{\text{opt}} > 0$，在高噪声时 $r_{\text{opt}} < 0$。
• 证明NLS可提升正确预测的模型置信度，同时降低错误预测的置信度，从而增强鲁棒性。
• 将NLS与成熟鲁棒学习方法（Loss Correction、NLNL、Peer Loss）关联起来，表明它们在特定噪声模型下对应于特定的NLS形式。
• 通过多个基准数据集的实证验证，表明随着噪声增加，最优平滑率从正向负发生明显转变。

实验结果

研究问题

• RQ1 在何种条件下，标签平滑在使用噪声标签训练时无法提升性能？
• RQ2 为何在高噪声环境下负标签平滑（NLS）优于标准标签平滑（LS）？
• RQ3 最优平滑率是否随标签噪声率变化而出现理论上的相变？
• RQ4 NLS与LS在模型置信度与泛化误差上的影响有何不同？
• RQ5 像Loss Correction与Peer Loss这样的现有鲁棒学习方法，能否被解释为负标签平滑的特例？

主要发现

• 当标签噪声率较低时，正 $r$ 的标签平滑（LS）性能优于NLS，因其起到正则化作用。
• 在高噪声环境下，负 $r$ 的NLS更为有效，因其可防止后验分布的过度平滑。
• 最优平滑率 $r_{\text{opt}}$ 随噪声率增加而发生相变，从正转为负，临界噪声水平下 $r_{\text{opt}} = 0$。
• NLS提升了正确预测的模型置信度，降低了错误预测的置信度，从而在噪声环境下增强鲁棒性与泛化能力。
• 在特定噪声率模型下，Loss Correction、NLNL与Peer Loss被证明与NLS等价，验证了理论框架的有效性。
• 在CIFAR-10与UCI数据集上的实证结果表明，随着噪声率上升，最优平滑率从正转为负，且NLS在高噪声下实现了更高的测试准确率。