[论文解读] No Regret Sample Selection with Noisy Labels

Song, H., Nariaki Mitsuo+2 more|arXiv (Cornell University)|Mar 6, 2020

Machine Learning and Data Classification参考文献 39被引用 4

一句话总结

该论文提出 TA kS，一种新颖的深度学习方法，通过自适应 k 组选择来抑制噪声标签训练中的总选择风险，实现了显著更低的计算成本下的最先进准确率。通过理论界定遗憾并利用基于扰动的选择机制，TA kS 在训练单个 DNN 时动态选择干净样本，在多个噪声数据集上均优于协同训练及其他基线方法，在准确率和效率方面表现更优。

ABSTRACT

Deep neural networks (DNNs) suffer from noisy-labeled data because of the risk of overfitting. To avoid the risk, in this paper, we propose a novel DNN training method with sample selection based on adaptive k-set selection, which selects k (< n) clean sample candidates from the whole n noisy training samples at each epoch. It has a strong advantage of guaranteeing the performance of the selection theoretically. Roughly speaking, a regret, which is defined by the difference between the actual selection and the best selection, of the proposed method is theoretically bounded, even though the best selection is unknown until the end of all epochs. The experimental results on multiple noisy-labeled datasets demonstrate that our sample selection strategy works effectively in the DNN training; in fact, the proposed method achieved the best or the second-best performance among state-of-the-art methods, while requiring a significantly lower computational cost. The code is available at https://github.com/songheony/TAkS.

研究动机与目标

• 解决在存在噪声标签的数据集上训练深度神经网络的挑战，此类问题可能导致过拟合和性能下降。
• 开发一种样本选择方法，可在训练过程中有效识别并排除错误标注的样本。
• 提供一种理论基础扎实的方法，即使在最优选择未知的预先情况下，也能实现有界的遗憾。
• 与现有的协同训练和全面 k 组方法相比，实现更高的性能并显著降低计算成本。
• 通过基于 Follow-the-Perturbed-Leader (FPL) 的自适应 k 组选择，证明其在在线、不确定训练环境中的有效性。

提出的方法

• 该方法使用自适应 k 组选择，在每个训练周期基于从模型预测中估计的噪声风险向量 θt，选择噪声风险最小的 k 个样本。
• 将选择问题建模为在 T 个周期内最小化总选择风险 ∑ₜ dₜ·θₜ，其中 dₜ 是第 t 个周期的 k-热选择向量。
• FPL 算法对噪声风险向量引入随机扰动，实现在在线环境下具有理论遗憾边界的选样，即使 θₜ 可靠性不足亦可适用。
• 该方法在每个周期对所选的 k 个样本训练单个 DNN，避免了使用多个网络进行协同训练带来的计算开销。
• 噪声风险 θi,t 计算为样本 i 被错误标注的可能性，训练过程中迭代更新。
• 该方法设计为计算高效，每个周期时间复杂度为 O(n)，可扩展至大规模数据集。

实验结果

研究问题

• RQ1 与现有样本选择方法相比，结合遗憾最小化的自适应 k 组选择是否能提升 DNN 在噪声标签数据集上的训练表现？
• RQ2 尽管噪声风险估计具有在线和不确定的特性，基于 FPL 的选择策略是否仍能实现有界的遗憾？
• RQ3 在动态选择的 k 个样本上训练的单个 DNN 是否能优于使用耦合网络的协同训练方法？
• RQ4 该方法在不同水平的标签噪声下表现如何，特别是在极端情况如 80% 对称噪声下？
• RQ5 噪声风险向量在训练过程中是否能有效识别并排除错误标注的样本？

主要发现

• 在包括 MNIST、CIFAR-10、CIFAR-100 和 Clothing1M 在内的所有基准数据集上，TA kS 在各种噪声设置下均取得了最佳或第二好的测试准确率。
• 在 CIFAR-10 数据集上使用对称 80% 噪声时，TA kS 达到 70.22% 的测试准确率，显著优于消融实验中的 Greedy（70.22%）和 Naive（66.06%）。
• 即使在高噪声环境下，该方法在整个训练过程中保持或提升了标签精确率，表明其具备强大的抗噪能力和稳定的训练过程。
• 特征可视化显示，干净样本形成紧密聚类，而错误标注样本则分布零散，且大多被选择机制排除。
• TA kS 比标准训练和协同训练基线更快——在对称 80% 噪声下速度最高可达四倍，原因在于每个周期仅使用 k < n 个样本。
• 消融实验确认，FPL 的扰动机制至关重要，因为 Greedy 和 Naive 在高噪声下因风险估计不稳定而失效。