[论文解读] Weakly Supervised Learning with Side Information for Noisy Labeled Images

Lele Cheng, Xiangzeng Zhou+6 more|arXiv (Cornell University)|Aug 25, 2020

Machine Learning and Data Classification参考文献 40被引用 5

一句话总结

本文提出SINet，一种弱监督学习框架，利用图像侧信息（如标题、标签）提升大规模噪声网络图像上深度CNN的训练效果。通过整合视觉原型和噪声加权模块，SINet能有效识别并降低误标图像的影响，在WebVision、ImageNet、Clothing-1M以及新发布的包含超过250万张细粒度产品图像的AliProducts数据集上均取得最先进性能。

ABSTRACT

In many real-world datasets, like WebVision, the performance of DNN based classifier is often limited by the noisy labeled data. To tackle this problem, some image related side information, such as captions and tags, often reveal underlying relationships across images. In this paper, we present an efficient weakly supervised learning by using a Side Information Network (SINet), which aims to effectively carry out a large scale classification with severely noisy labels. The proposed SINet consists of a visual prototype module and a noise weighting module. The visual prototype module is designed to generate a compact representation for each category by introducing the side information. The noise weighting module aims to estimate the correctness of each noisy image and produce a confidence score for image ranking during the training procedure. The propsed SINet can largely alleviate the negative impact of noisy image labels, and is beneficial to train a high performance CNN based classifier. Besides, we released a fine-grained product dataset called AliProducts, which contains more than 2.5 million noisy web images crawled from the internet by using queries generated from 50,000 fine-grained semantic classes. Extensive experiments on several popular benchmarks (i.e. Webvision, ImageNet and Clothing-1M) and our proposed AliProducts achieve state-of-the-art performance. The SINet has won the first place in the classification task on WebVision Challenge 2019, and outperformed other competitors by a large margin.

研究动机与目标

• 解决在严重标签噪声的大规模网络图像上训练深度CNN的挑战。
• 利用与图像相关的侧信息（如标题、标签）提升模型鲁棒性，且无需清洁标注。
• 开发一种可扩展的弱监督方法，减轻真实世界数据集中标签噪声的负面影响。
• 发布一个大规模、细粒度的产品数据集（AliProducts），包含50,000个语义类别和层次化类别关系，以供未来研究使用。

提出的方法

• SINet包含一个视觉原型模块，通过融合噪声图像与侧信息，学习每类的干净、代表性特征。
• 噪声加权模块通过比较图像的深层特征与视觉原型，估计其置信度分数，实现图像排序与选择性训练。
• 该框架通过弱监督学习目标联合优化视觉原型与噪声权重，避免依赖清洁标签。
• 利用文本描述和层次化类别关系等侧信息，建模类间与图像间关系，以提升原型质量。
• 从层次化类别数据构建类别关系图，以指导原型学习与噪声估计。
• 通过在置信度加权样本上使用交叉熵损失进行端到端训练，提升在噪声数据上的泛化能力。

实验结果

研究问题

• RQ1 能否有效利用标题、标签等侧信息，提升在噪声网络图像上的深度学习模型性能？
• RQ2 如何在无清洁监督的情况下，从噪声图像中学习视觉原型，以稳健地表示每一类？
• RQ3 基于特征-原型对齐的噪声加权机制，能否提升模型在真实世界噪声数据集上的准确率？
• RQ4 所提方法是否在具有严重标签噪声的大规模基准测试中优于现有最先进方法？
• RQ5 该方法能否在具有复杂类别层次结构的细粒度、大规模产品识别任务中实现良好泛化？

主要发现

• 在WebVision1.0数据集上，SINet取得73.8%的最先进top-1准确率，在ImageNet上达到66.8%（含40%标签噪声），优于基线ResNet50及先前方法。
• 在Clothing1M数据集上，SINet在仅使用50,000张干净图像的情况下达到81.32%的准确率，超过CleanNet（79.9%）、MetaCleaner（80.78%）和DeepSelf（81.16%）。
• 在新发布的AliProducts数据集（超过250万张图像，50,000个细粒度类别）上，SINet达到86.29%的准确率，超越所有基线方法。
• SINet在2019年WebVision挑战赛5000类分类任务中获得第一名，证明其在真实场景中的强大性能。
• 噪声加权模块能有效按置信度对图像进行排序，使模型聚焦于高质量样本，降低误标数据的影响。
• 侧信息与视觉原型的融合显著提升了模型鲁棒性，尤其在细粒度与噪声场景下表现突出。