[论文解读] Robust Training with Ensemble Consensus

Jisoo Lee, Sae-Young Chung|arXiv (Cornell University)|Oct 22, 2019

Machine Learning and Data Classification参考文献 34被引用 9

一句话总结

本文提出了一种名为集成共识学习（Learning with Ensemble Consensus, LEC）的鲁棒训练方法，通过利用扰动神经网络之间的共识来识别并移除噪声样本。通过仅保留多个扰动模型中始终处于小损失集合内的样本，LEC在MNIST、CIFAR-10和CIFAR-100等噪声数据集上显著提升了泛化性能，优于当前最先进方法，并对噪声比例估计误差具有更强的鲁棒性。

ABSTRACT

Since deep neural networks are over-parameterized, they can memorize noisy examples. We address such a memorization issue in the presence of label noise. From the fact that deep neural networks cannot generalize to neighborhoods of memorized features, we hypothesize that noisy examples do not consistently incur small losses on the network under a certain perturbation. Based on this, we propose a novel training method called Learning with Ensemble Consensus (LEC) that prevents overfitting to noisy examples by removing them based on the consensus of an ensemble of perturbed networks. One of the proposed LECs, LTEC outperforms the current state-of-the-art methods on noisy MNIST, CIFAR-10, and CIFAR-100 in an efficient manner.

研究动机与目标

• 为解决深度神经网络因标签噪声而过拟合的问题，识别并移除被记忆的样本。
• 通过在参数扰动下利用基于集成的损失一致性，区分干净样本与噪声样本，提升训练鲁棒性。
• 开发一种对噪声比例估计不准确具有鲁棒性的方法，这是现实世界噪声数据集中常见问题。
• 提供一种适用于任何使用SGD优化的网络架构的通用训练框架，基于SGD优化的基本行为。

提出的方法

• 该方法首先在完整数据集上训练初始模型，并将损失最小的100−ε%样本识别为干净数据候选。
• 通过在基础模型上施加不同的参数扰动（如权重噪声、权重丢弃或权重重排）生成一组扰动模型的集成。
• 通过要求所有集成成员在损失上均保持较小，实现对噪声样本的过滤，形成小损失集合的交集。
• 最终训练仅在所有M个扰动网络的小损失集合中均存在的样本上进行，确保对低损失达成共识。
• 提出了LEC的三种变体——LTEC，采用不同类型的扰动，在对称、非对称和开放集噪声设置下进行评估。
• 该方法依赖于一个观察：被记忆的（噪声）特征在扰动下会波动，而泛化的（干净）特征在损失上保持稳定。

实验结果

研究问题

• RQ1 在扰动模型之间建立集成共识，能否有效识别并过滤出原本错误包含在小损失集合中的噪声样本？
• RQ2 在不同水平的标签噪声下，所提出的LEC方法相较于当前最先进鲁棒训练方法表现如何？
• RQ3 LEC在真实数据集中对真实噪声比例估计不准确的情况具有多大程度的鲁棒性？
• RQ4 该方法是否能在不同神经网络架构和优化设置下实现泛化？

主要发现

• 在对称和非对称标签噪声下，LTEC在MNIST、CIFAR-10和CIFAR-100上均达到SOTA性能，测试准确率相比标准训练最高提升8.5%。
• 在CIFAR-10上20%对称噪声下，LTEC达到88.79%的测试准确率（峰值），优于Co-teaching（86.45%）和标准训练（85.30%）。
• LTEC对噪声比例估计误差表现出强鲁棒性：即使噪声比例被高估，性能仍保持较高水平，而Co-teaching在噪声比例被低估时性能显著下降。
• 该方法在不同架构上保持高性能，ResNet-20在20%非对称噪声下使用LTEC达到89.04%的测试准确率，而标准训练仅为87.32%。
• 增加集成规模M并不总是能提升性能，因为过多样本可能被移除，凸显了过滤严格性与训练集大小之间平衡的重要性。
• 集成共识机制能有效过滤出原本错误包含在小损失集合中的噪声样本，即使在高噪声水平下（如60%对称噪声），LTEC在CIFAR-10上仍达到81.46%的准确率。