[论文解读] Tripartite: Tackle Noisy Labels by a More Precise Partition

Xuefeng Liang, Longshan Yao+2 more|arXiv (Cornell University)|Feb 19, 2022

Machine Learning and Data Classification被引用 10

一句话总结

Tripartite 提出了一种新颖的三路训练数据划分方法，通过双网络不一致性与标签预测不匹配，将数据划分为困难、噪声和干净三类子集，实现对困难样本的低权重训练以及对噪声数据的自监督学习。该方法在五个基准数据集上实现了最先进性能，尤其在真实世界噪声数据上表现优异，通过提升数据划分质量和利用效率显著改善了模型表现。

ABSTRACT

Samples in large-scale datasets may be mislabeled due to various reasons, and Deep Neural Networks can easily over-fit to the noisy label data. To tackle this problem, the key point is to alleviate the harm of these noisy labels. Many existing methods try to divide training data into clean and noisy subsets in terms of loss values, and then process the noisy label data varied. One of the reasons hindering a better performance is the hard samples. As hard samples always have relatively large losses whether their labels are clean or noisy, these methods could not divide them precisely. Instead, we propose a Tripartite solution to partition training data more precisely into three subsets: hard, noisy, and clean. The partition criteria are based on the inconsistent predictions of two networks, and the inconsistency between the prediction of a network and the given label. To minimize the harm of noisy labels but maximize the value of noisy label data, we apply a low-weight learning on hard data and a self-supervised learning on noisy label data without using the given labels. Extensive experiments demonstrate that Tripartite can filter out noisy label data more precisely, and outperforms most state-of-the-art methods on five benchmark datasets, especially on real-world datasets.

研究动机与目标

• 为了解决现有样本选择方法仅依赖损失值而无法区分困难样本与噪声或干净样本的局限性。
• 通过显式识别因特征相似性而易被误分类的困难样本，提升干净和噪声子集的质量。
• 通过定制化训练策略，最小化噪声标签带来的损害，同时最大化噪声标签数据的利用价值。
• 提供一种更精确的数据划分机制，减少在具有模糊、相似类别误标的真实世界数据集中对噪声标签的过拟合。

提出的方法

• 基于两个网络之间的预测不一致性以及网络预测与给定标签之间的不匹配，将训练数据划分为三类子集——困难、噪声和干净。
• 将预测不一致性高的样本识别为困难样本，无论其标签是否正确。
• 将网络预测与给定标签强烈不一致的样本检测为噪声样本，即使两网络的预测结果保持一致。
• 对困难样本应用低权重学习策略，降低其在损失函数中的贡献，以减少对模糊或错误标注的困难样本造成的损害。
• 对噪声标签样本实施自监督学习，不依赖于给定标签，从而保留有用的特征信息。
• 将三路划分策略整合进训练流程，针对不同子集选择性地应用不同的学习策略，以提升泛化能力。

实验结果

研究问题

• RQ1 在存在困难样本的情况下，三路划分策略（困难、噪声、干净）是否能优于传统的两路划分（干净/噪声）？
• RQ2 与基于损失的判别标准相比，双网络预测不一致性在识别困难和噪声样本方面是否能显著提升准确性？
• RQ3 对噪声标签数据实施自监督学习在多大程度上能缓解噪声标签的负面影响，同时保留有用信息？
• RQ4 对困难样本实施低权重训练是否能减少在真实世界数据集中对模糊或错误标注样本的过拟合？
• RQ5 Tripartite 方法在不同类型的噪声下（尤其是对称噪声和具有大量困难样本的真实噪声）是否具有足够的鲁棒性？

主要发现

• 在所有对比方法中，Tripartite 在干净和噪声子集的划分准确率上表现最高，尤其在真实噪声设置下显著优于 GMM 和小损失标准。
• 在 CIFAR-10 数据集上使用 50% 的真实噪声时，Tripartite 通过自监督策略实现了 68.62% 的准确率，显著优于相同设置下的丢弃策略（65.04%）和半监督策略（65.45%）。
• 最优的困难样本低权重超参数 λh = 0.6 可获得最佳性能，而 λh = 0.2 表现较差，原因在于对干净困难样本的学习不足。
• 在噪声子集上实施自监督训练策略取得了最佳结果（在 50% 真实噪声下准确率达 68.62%），证明其优于基于伪标签的半监督方法。
• Tripartite 的划分质量与模型性能直接相关，如在 Co-teaching 和 DivideMix 中使用其划分的子集时，准确率更高。
• 在 SVHN 数据集上使用真实噪声时，Tripartite 通过在噪声数据上实施自监督训练，达到 78.76% 的准确率，优于丢弃和半监督基线方法。