[论文解读] ProtoNet: Learning from Web Data with Memory

Yi Tu, Li Niu+2 more|arXiv (Cornell University)|Jun 28, 2019

Text and Document Classification Technologies被引用 4

一句话总结

ProtoNet 是一种新颖的深度学习框架，通过使用记忆模块为每个类别学习代表性原型，从而减轻网络爬取图像中的标签噪声和背景噪声，实现在无需干净监督的情况下进行噪声过滤。该方法在四个基准数据集上通过在训练过程中有效去除噪声样本和候选区域，显著提升了零样本和少样本学习的性能。

ABSTRACT

Learning from web data has attracted lots of research interest in recent years. However, crawled web images usually have two types of noises, label noise and background noise, which induce extra difficulties in utilizing them effectively. Most existing methods either rely on human supervision or ignore the background noise. In this paper, we propose the novel ProtoNet, which is capable of handling these two types of noises together, without the supervision of clean images in the training stage. Particularly, we use a memory module to identify the representative and discriminative prototypes for each category. Then, we remove noisy images and noisy region proposals from the web dataset with the aid of the memory module. Our approach is efficient and can be easily integrated into arbitrary CNN model. Extensive experiments on four benchmark datasets demonstrate the effectiveness of our method.

研究动机与目标

• 解决网络爬取图像数据集中标签噪声和背景噪声的双重挑战。
• 开发一种自监督方法，无需干净训练图像即可过滤噪声图像和区域提议。
• 通过学习稳健且具有判别性的原型，实现对噪声网络数据的有效微调。
• 设计一种记忆增强模块，识别并保留每类中最具代表性的特征。

提出的方法

• 记忆模块使用来自网络图像的特征嵌入，存储并更新每类的原型特征。
• 通过可微聚类机制学习原型，强调判别性和代表性特征。
• 基于样本与学习原型之间的距离，过滤掉噪声图像和区域提议，从而降低噪声影响。
• 将记忆模块集成到任意CNN主干网络中，实现端到端训练，且架构改动极小。
• 该框架以自监督方式运行，训练过程中无需人工标注的干净图像。

实验结果

研究问题

• RQ1 基于记忆的原型学习机制能否有效从噪声网络数据中识别出干净且具代表性的特征？
• RQ2 ProtoNet 在不依赖干净监督的情况下，能否有效过滤噪声图像和区域提议？
• RQ3 ProtoNet 在噪声网络数据集上对少样本和零样本学习性能的提升程度如何？
• RQ4 ProtoNet 在不同基准数据集和CNN架构上的泛化能力如何？

主要发现

• ProtoNet 通过使用学习到的原型过滤噪声样本，在四个基准数据集上显著提升了少样本学习的准确率。
• 该方法在无需干净训练图像的情况下，实现了少样本分类基准上的最先进性能。
• 记忆模块有效降低了网络爬取数据集中标签噪声和背景噪声的影响。
• 该框架与多种CNN架构兼容，可无缝集成到现有模型中。