[论文解读] Uncertainty Based Detection and Relabeling of Noisy Image Labels

Jan M. Köhler, Maximilian Autenrieth+1 more|arXiv (Cornell University)|May 29, 2019

Industrial Vision Systems and Defect Detection被引用 19

一句话总结

该论文提出了一种基于不确定性的迭代方法，利用深度集成和蒙特卡洛丢弃法估计的预测不确定性，检测并重新标注图像中的噪声标签。通过识别具有高不确定性的图像（表明存在标签噪声），并利用训练过程中的模型行为，该方法在CIFAR-10和CIFAR-100数据集上实现了高达94.3%的检测精度，并提升了模型泛化能力，尤其在结合真实标签重新标注时效果显著。

ABSTRACT

Deep neural networks (DNNs) are powerful tools in computer vision tasks. However, in many realistic scenarios label noise is prevalent in the training images, and overfitting to these noisy labels can significantly harm the generalization performance of DNNs. We propose a novel technique to identify data with noisy labels based on the different distributions of the predictive uncertainties from a DNN over the clean and noisy data. Additionally, the behavior of the uncertainty over the course of training helps to identify the network weights which best can be used to relabel the noisy labels. Data with noisy labels can therefore be cleaned in an iterative process. Our proposed method can be easily implemented, and shows promising performance on the task of noisy label detection on CIFAR-10 and CIFAR-100.

研究动机与目标

• 解决深度学习数据集中标签噪声的问题，该问题会损害模型泛化能力并导致过拟合。
• 开发一种无需依赖真实标签先验知识即可检测噪声标签的方法。
• 通过不确定性估计实现噪声图像的迭代重新标注，以提升模型性能。
• 在多种数据集和网络架构上，针对对称噪声和成对噪声等现实噪声模式评估该方法。

提出的方法

• 在推理过程中，使用深度集成和蒙特卡洛丢弃法为每张图像估计预测不确定性。
• 计算包括置信度比率、softmax输出的标准差以及多次前向传播中的最大softmax概率在内的不确定性统计量。
• 应用期望最大化算法，将不确定性得分拟合为混合贝塔分布，实现噪声标签检测的自适应阈值设定。
• 通过监测训练过程中不确定性趋势（如softmax向量标准差）来识别最优重新标注时间点，检测模型预测从真实标签向噪声标签转变的时刻。
• 实施迭代清洗流程：检测噪声标签，使用模型预测或真实标签进行重新标注，并重新训练。
• 通过基于拟合分布动态调整阈值，控制检测的选择性，随着噪声减少而降低误报率。

实验结果

研究问题

• RQ1 深度集成和MC丢弃法的预测不确定性是否能有效区分图像分类中的干净标签与噪声标签？
• RQ2 训练过程中不确定性度量的时间行为如何帮助识别重新标注噪声图像的最佳时机？
• RQ3 在具有对称噪声和成对噪声的数据集中，基于不确定性的迭代过滤能在多大程度上提升模型泛化能力？
• RQ4 随着噪声样本数量的减少，噪声标签检测精度在多轮迭代中如何演变？
• RQ5 在缺乏真实标签的情况下，是否可以仅依靠训练过程中的模型行为有效实现基于不确定性的检测？

主要发现

• 深度集成与MC丢弃法的结合产生了最稳健的不确定性估计，在CIFAR-10数据集上对40%对称噪声的检测精度达到94.3%。
• 在对称噪声和成对噪声设置下，置信度比率和最大softmax概率是最有效的不确定性统计量，用于检测噪声标签。
• 经过五轮迭代，噪声标签数量从20,000（占40%）减少至10,773（占21.5%），检测精度在后期阶段降至0.722。
• 当与真实标签重新标注结合使用时，CIFAR-10上的模型准确率从77.3%提升至84.7%，证明了迭代清洗流程的有效性。
• 不确定性趋势（初始下降后上升）提供了可靠的信号，用于识别最优重新标注时间点，其中多次前向传播中softmax输出的标准差是一个强有力的启发式指标。
• 通过EM算法拟合的混合贝塔分布为建模不确定性分布提供了稳健方法，实现了随时间改进的自适应阈值设定，提升了检测的选择性。