[论文解读] Training Convolutional Networks with Noisy Labels

Sainbayar Sukhbaatar, Joan Bruna+3 more|arXiv (Cornell University)|Jun 9, 2014

Machine Learning and Data Classification参考文献 31被引用 515

一句话总结

本文提出一种噪声自适应层，用于卷积神经网络，通过建模标签翻转和异常值，提升对噪声标签的鲁棒性。通过在Softmax层之上添加一个受约束的线性噪声层，模型在端到端训练过程中学习纠正标签分布偏移，从而在合成数据集和真实世界噪声数据集（包括包含最多120万张异常图像的ImageNet）上实现显著的准确率提升。

ABSTRACT

The availability of large labeled datasets has allowed Convolutional Network models to achieve impressive recognition results. However, in many settings manual annotation of the data is impractical; instead our data has noisy labels, i.e. there is some freely available label for each image which may or may not be accurate. In this paper, we explore the performance of discriminatively-trained Convnets when trained on such noisy data. We introduce an extra noise layer into the network which adapts the network outputs to match the noisy label distribution. The parameters of this noise layer can be estimated as part of the training process and involve simple modifications to current training infrastructures for deep networks. We demonstrate the approaches on several datasets, including large scale experiments on the ImageNet classification benchmark.

研究动机与目标

• 研究标准卷积神经网络在训练数据存在噪声标签时的鲁棒性，特别是在标签不可靠的真实世界场景中。
• 解决在网页抓取或众包数据集等标签噪声普遍存在的场景下训练深度网络的挑战。
• 提出一种简单且可训练的噪声层，使网络输出能够自适应匹配观测到的噪声标签分布，而无需依赖干净标签。
• 在合成数据和真实世界噪声数据（包括ImageNet中存在高水平异常值噪声的情况）上评估该方法的有效性。

提出的方法

• 在Softmax层之上引入一个受约束的线性噪声层，以建模标签噪声，并通过反向传播进行端到端训练。
• 对于标签翻转噪声，该方法使用一个可学习的噪声矩阵Q，用于建模不同类别之间误标概率。
• 对于异常值噪声，引入一个独立的噪声层，用于建模图像为异常值的概率及其被分配随机类别标签的可能性。
• 噪声层参数通过标准优化方法在训练过程中估计，对现有深度学习框架的修改极少。
• 该方法使用一个超参数α来控制异常值的先验概率，该参数可调优或从数据中估计。
• 该方法具有可扩展性，已成功应用于ImageNet等大规模数据集，最多支持120万张异常图像。

实验结果

研究问题

• RQ1 在高比例标签噪声（特别是标签翻转和异常值）下，标准卷积神经网络的性能会如何退化？
• RQ2 一个简单且可微分的噪声层是否能有效提升深度网络对标签翻转和异常值噪声的鲁棒性？
• RQ3 噪声自适应模型的性能对超参数α的选择有多敏感，尤其是在真实异常值比例未知的情况下？
• RQ4 在真实世界噪声数据集（如网页抓取图像或Tiny Images）上，该噪声自适应层是否能带来可测量的性能提升？

主要发现

• 在包含120万张异常图像（60%为有效样本）的ImageNet数据集中，噪声自适应模型将Top-1错误率降低了1.5%，相比标准卷积神经网络。
• 在Tiny Images数据集中，估计异常值比例为50%时，噪声自适应模型将测试错误率从19.2%降低至18.8%，相对提升2.1%。
• 在包含90万张图像和1000个ImageNet类别的真实世界网络图像数据集中，标签翻转噪声模型将验证错误率从48.8%降低至48.2%。
• 即使α值在真实异常值比例基础上±15%波动，模型性能依然保持稳定，表明对超参数选择具有较低敏感性。
• 在高噪声水平的合成数据上，该方法实现了显著的性能增益，证明其在受控环境下的有效性。
• 该方法可在现有深度学习框架中轻松实现，并且无需重大网络结构修改即可扩展至ImageNet等大规模问题。