[论文解读] Robust Data Pruning under Label Noise via Maximizing Re-labeling Accuracy

Dongmin Park, Seola Choi+3 more|arXiv (Cornell University)|Nov 2, 2023

Music and Audio Processing被引用 4

一句话总结

该论文提出 Prune4ReL，一种新颖的数据剪枝方法，通过最大化邻域置信度来选择训练子集，从而在标签噪声环境下提升重标注准确性。通过优先选择能提升邻近预测置信度的样本，Prune4ReL 在基线方法基础上将重标注性能提升最高达 9.1%，在噪声数据集上将泛化性能提升最高达 21.6%。

ABSTRACT

Data pruning, which aims to downsize a large training set into a small informative subset, is crucial for reducing the enormous computational costs of modern deep learning. Though large-scale data collections invariably contain annotation noise and numerous robust learning methods have been developed, data pruning for the noise-robust learning scenario has received little attention. With state-of-the-art Re-labeling methods that self-correct erroneous labels while training, it is challenging to identify which subset induces the most accurate re-labeling of erroneous labels in the entire training set. In this paper, we formalize the problem of data pruning with re-labeling. We first show that the likelihood of a training example being correctly re-labeled is proportional to the prediction confidence of its neighborhood in the subset. Therefore, we propose a novel data pruning algorithm, Prune4Rel, that finds a subset maximizing the total neighborhood confidence of all training examples, thereby maximizing the re-labeling accuracy and generalization performance. Extensive experiments on four real and one synthetic noisy datasets show that \algname{} outperforms the baselines with Re-labeling models by up to 9.1% as well as those with a standard model by up to 21.6%.

研究动机与目标

• 解决现有方法在标签噪声场景下数据剪枝中缺乏对重标注能力考量的空白。
• 形式化一个新问题：选择一个训练子集，以最大化所有样本的重标注准确性，而不仅仅是泛化性能。
• 克服在完整模型训练前估计重标注潜力的挑战。
• 开发一种高效、可扩展的方法，以识别出能最大化总邻域置信度的子集，从而改善噪声标签的自我修正能力。

提出的方法

• 引入‘缩减邻域置信度’的概念——即所选子集中邻居预测置信度的总和——作为重标注潜力的代理指标。
• 从理论和实证上证明，更高的邻域置信度与更高的正确重标注可能性相关。
• 将剪枝目标形式化为最大化所有训练样本的总邻域置信度覆盖。
• 设计一种贪心选择算法，通过迭代添加对总邻域置信度贡献最大的样本。
• 通过避免在子集选择过程中进行完整模型微调，实现可扩展性优化，使方法可应用于大规模数据集（如 ImageNet-N）。
• 与最先进重标注模型（如 DivideMix、SOP+）集成，评估在噪声环境下的端到端性能。

实验结果

研究问题

• RQ1 在所选子集中，邻域置信度能否预测噪声样本正确重标注的可能性？
• RQ2 如何重新定义数据剪枝，使其优先选择能最大化重标注准确性而非仅模型泛化性能的子集？
• RQ3 是否存在一种高效、可扩展的方法，可在无需穷举搜索或完整模型训练的前提下识别此类子集？
• RQ4 最大化邻域置信度是否能带来在标签噪声环境下重标注准确性与下游模型性能的可测量提升？

主要发现

• 在四个真实噪声数据集（CIFAR-10N、CIFAR-100N、WebVision、Clothing-1M）上，Prune4ReL 与重标注模型结合使用时，测试准确率相比八种数据剪枝基线最高提升 9.1%。
• 在包含 20% 合成标签噪声的 ImageNet-N 上，Prune4ReL 在选择比例从 0.05 到 0.4 的范围内，准确率相比基线最高提升 8.6%。
• Prune4ReL 显著降低了所选子集中无法自我修正的噪声样本比例——在 CIFAR-10N（Random）上实现 90.3% 的正确重标注率，远超 Forget 的 61.7% 和 kCenter 的 75.2%。
• 该方法在低选择比例（如 0.05）下仍保持高性能，展现出良好的可扩展性与鲁棒性。
• Prune4ReL 搭配重标注模型在噪声数据集上的准确率增益相比标准剪枝基线最高提升 21.6%。
• 贪心算法能高效扩展至大规模数据集（如包含 120 万样本的 ImageNet-N），证实了其计算可行性。