[论文解读] ProSelfLC: Progressive Self Label Correction for Training Robust Deep Neural Networks

Xinshao Wang, Hua Yang+3 more|arXiv (Cornell University)|May 7, 2020

Machine Learning and Data Classification参考文献 61被引用 14

一句话总结

ProSelfLC 提出了一种渐进式、端到端的深度神经网络自标签修正方法，根据训练进度和预测置信度（低熵）自适应地提高对模型预测标签的信任。该方法通过重新定义有意义的低熵目标并促进熵最小化，在干净数据和噪声数据设置下均优于现有的标签修正与正则化方法，在 CIFAR-100 和 Clothing1M 数据集上展现出更优的鲁棒性与泛化能力。

ABSTRACT

To train robust deep neural networks (DNNs), we systematically study several target modification approaches, which include output regularisation, self and non-self label correction (LC). Two key issues are discovered: (1) Self LC is the most appealing as it exploits its own knowledge and requires no extra models. However, how to automatically decide the trust degree of a learner as training goes is not well answered in the literature? (2) Some methods penalise while the others reward low-entropy predictions, prompting us to ask which one is better? To resolve the first issue, taking two well-accepted propositions--deep neural networks learn meaningful patterns before fitting noise [3] and minimum entropy regularisation principle [10]--we propose a novel end-to-end method named ProSelfLC, which is designed according to learning time and entropy. Specifically, given a data point, we progressively increase trust in its predicted label distribution versus its annotated one if a model has been trained for enough time and the prediction is of low entropy (high confidence). For the second issue, according to ProSelfLC, we empirically prove that it is better to redefine a meaningful low-entropy status and optimise the learner toward it. This serves as a defence of entropy minimisation. We demonstrate the effectiveness of ProSelfLC through extensive experiments in both clean and noisy settings. The source code is available at https://github.com/XinshaoAmosWang/ProSelfLC-CVPR2021. Keywords: entropy minimisation, maximum entropy, confidence penalty, self knowledge distillation, label correction, label noise, semi-supervised learning, output regularisation

研究动机与目标

• 为解决自标签修正（Self LC）中缺乏自适应信任机制的问题，现有方法在整个训练过程中固定信任权重 ε。
• 解决标签修改中的模糊性：在存在噪声标签时，应惩罚还是奖励低熵预测。
• 通过实证验证，重新定义‘有意义’的低熵状态并朝其优化，可提升模型的泛化能力。
• 开发一种端到端可训练的方法，通过模型自身预测渐进式修正标签，无需辅助模型或人工干预。

提出的方法

• ProSelfLC 根据训练时间与预测熵动态调整自标签修正的信任权重 ε，随着训练推进和预测变得更自信而逐步增加 ε。
• 其基于两个原则：深度网络在拟合噪声之前先学习有意义的模式，以及最小熵正则化原则，以引导对模型预测的渐进信任。
• 该方法将渐进式修正目标定义为 (1−ε)q + εp，其中 q 为独热标签，p 为模型的预测分布，ε 随训练轮次与熵值随时间增加。
• 它采用可学习的时间与熵依赖调度策略来确定 ε，避免了先前方法（如自训练或联合优化）中使用的固定值或分阶段设置。
• 该方法具备端到端可微性，计算开销可忽略不计，可无缝集成至标准训练流程中。
• 它将‘低熵’重新定义为需优化的目标，促进对正确预测的置信度，而非如置信度惩罚方法那样对置信度进行惩罚。

实验结果

研究问题

• RQ1 如何使自标签修正方法适应训练进度，而非依赖固定或分阶段的信任权重？
• RQ2 与置信度惩罚方法中惩罚低熵预测相比，是否更优的做法是奖励并优化至一个有意义的低熵状态？
• RQ3 能否在不依赖外部模型或人工干预的前提下，通过增强对模型预测的信任来提升对标签噪声的鲁棒性？
• RQ4 重新定义低熵状态目标是否能增强在噪声环境下的泛化能力与语义结构学习？

主要发现

• 在 40% 异常标签噪声的 CIFAR-100 数据集上，ProSelfLC 达到 73.4% 的最高测试准确率，优于所有基线方法，包括 S-adaptation、Masking 和 MD-DYR-SH。
• 在真实世界数据集 Clothing1M（约 38.5% 标签噪声）上，ProSelfLC 达到 73.4% 的测试准确率，领先次优方法（72.6%）0.8 个百分点。
• 与基线相比，ProSelfLC 将错误标签拟合减少了 40–50%，并更有效地纠正了语义类别错误，动态标签拟合与修正统计结果已验证此效果。
• 该方法在训练过程中始终保持最低熵，同时实现最佳泛化性能，证明当目标正确时，置信度不会损害性能。
• 学习动态分析表明，ProSelfLC 更早避免拟合噪声标签，并随时间推移展现出更优的泛化能力，尤其在噪声率升高时更为显著。
• 消融实验确认，在高噪声率下，较小的批量大小 B 表现更优，且 ε 与 B 共同影响模型校准与鲁棒性。