[论文解读] SELF: Learning to Filter Noisy Labels with Self-Ensembling

Duc Tam Nguyen, Chaithanya Kumar Mummadi+4 more|arXiv (Cornell University)|Oct 4, 2019

Machine Learning and Data Classification参考文献 25被引用 56

一句话总结

SELF 通过自我集成预测和 Mean Teacher 训练，逐步过滤掉潜在嘈杂的标签，将嘈杂监督转变为半监督设置，并提升跨数据集对标签噪声的鲁棒性。

ABSTRACT

Deep neural networks (DNNs) have been shown to over-fit a dataset when being trained with noisy labels for a long enough time. To overcome this problem, we present a simple and effective method self-ensemble label filtering (SELF) to progressively filter out the wrong labels during training. Our method improves the task performance by gradually allowing supervision only from the potentially non-noisy (clean) labels and stops learning on the filtered noisy labels. For the filtering, we form running averages of predictions over the entire training dataset using the network output at different training epochs. We show that these ensemble estimates yield more accurate identification of inconsistent predictions throughout training than the single estimates of the network at the most recent training epoch. While filtered samples are removed entirely from the supervised training loss, we dynamically leverage them via semi-supervised learning in the unsupervised loss. We demonstrate the positive effect of such an approach on various image classification tasks under both symmetric and asymmetric label noise and at different noise ratios. It substantially outperforms all previous works on noise-aware learning across different datasets and can be applied to a broad set of network architectures.

研究动机与目标

• 激励在训练数据包含来自众包或网页注释的噪声标签时进行鲁棒学习。
• 提出一个简单有效的机制，在训练过程中识别并丢弃可能不正确的标签。
• 利用剩余的干净标签进行有监督学习，同时在无监督损失中使用整个数据集。
• 展示在多种网络结构和数据集（CIFAR-10、CIFAR-100、ImageNet）上的鲁棒性。
• 展示在对称和非对称标签噪声下优于现有的噪声鲁棒方法。

提出的方法

• 维持一个持续的 Mean Teacher 集成，以提供稳定的监督信号。
• 构建跨训练轮次的样本预测移动平均，形成每个样本的自我集成预测。
• 通过仅保留当前标签与集成预测随时间的最大值（argmax）匹配的样本来筛选标签；其余嘈杂样本从有监督损失中移除，但用于无监督损失。
• 对筛选后的标签集进行迭代训练，重新评估并细化标签集，直到不再出现改进。
• 将问题视为半监督任务，在无监督损失中利用整个数据集，而仅在筛选出的更干净子集上进行有监督。
• 可选地使用第二个集成（Mean Teacher）来稳定训练，并结合模型集成与预测集成以增强鲁棒性。

实验结果

研究问题

• RQ1 在强噪声标签条件下，跨训练轮次的预测自我集成是否能可靠识别正确标注的样本？
• RQ2 在训练过程中逐步筛选嘈杂标签是否提升在标准图像分类基准上的泛化能力？
• RQ3 SELF 在对称和非对称标签噪声以及在不同网络架构下的表现如何？
• RQ4 筛选后干净子集加无监督损失是否能与现有的噪声鲁棒方法竞争或超过之？
• RQ5 该方法是否可迁移至研究中具体网络和数据集之外的任务？

主要发现

• SELF 在 CIFAR-10、CIFAR-100 与 ImageNet 实验中，一直提高对称和非对称标签噪声的鲁棒性。
• 使用 Mean Teacher 模型加预测的移动平均来筛选标签，比单轮预测更可靠地识别干净样本。
• 逐步筛选结合半监督学习在多种架构和噪声水平下比以往的噪声感知方法取得更高准确性。
• 该方法在不同网络骨干上仍然有效，表明架构鲁棒性。
• 完整的 SELF 实现（模型集成加预测集成）提供最强增益，并对高噪声比例具有鲁棒性（研究中有报道）。
• 在消融研究中，移除预测集成或渐进筛选会降低性能，突显每个组件的贡献。