[论文解读] On Deep Representation Learning from Noisy Web Images

Phong D. Vo, Alexandru-Lucian Gînsca+2 more|arXiv (Cornell University)|Dec 15, 2015

Advanced Image and Video Retrieval Techniques参考文献 35被引用 4

一句话总结

本文提出了一种半监督深度表示学习方法，利用噪声较多的网络图像来训练卷积神经网络（convnets）作为通用特征检测器。尽管存在较高的噪声水平、数据偏差和误标定，该方法在九个公开数据集上实现了最先进性能，优于在 ImageNet 上训练的 AlexNet，并且仅使用 314 万张噪声网络图像就接近了 VGG-16 的准确率。

ABSTRACT

The keep-growing content of Web images may be the next important data source to scale up deep neural networks, which recently obtained a great success in the ImageNet classification challenge and related tasks. This prospect, however, has not been validated on convolutional networks (convnet) -- one of best performing deep models -- because of their supervised regime. While unsupervised alternatives are not so good as convnet in generalizing the learned model to new domains, we use convnet to leverage semi-supervised representation learning. Our approach is to use massive amounts of unlabeled and noisy Web images to train convnets as general feature detectors despite challenges coming from data such as high level of mislabeled data, outliers, and data biases. Extensive experiments are conducted at several data scales, different network architectures, and data reranking techniques. The learned representations are evaluated on nine public datasets of various topics. The best results obtained by our convnets, trained on 3.14 million Web images, outperform AlexNet trained on 1.2 million clean images of ILSVRC 2012 and is closing the gap with VGG-16. These prominent results suggest a budget solution to use deep learning in practice and motivate more research in semi-supervised representation learning.

研究动机与目标

• 探索在大规模、未标注且含噪声的网络图像集合上训练深度卷积网络的可行性。
• 解决在大规模网络图像数据集中进行深度表示学习时面临的数据噪声、误标定和偏差问题。
• 开发一种半监督学习框架，利用未标注数据提升泛化能力，而无需完全清洁的数据集。
• 评估从噪声数据中学习的表示在多样化下游任务中的鲁棒性与可迁移性。

提出的方法

• 该方法首先在少量干净图像（例如 ImageNet）上进行监督预训练，以初始化网络权重。
• 然后在包含 314 万张噪声较大、来自网络的图像的大规模数据集上对网络进行微调，这些图像具有弱标签或噪声标签。
• 该方法采用数据重排序技术，在训练过程中过滤掉低质量或异常图像，以提升表示质量。
• 网络被训练为通用特征检测器，重点在于学习可迁移的特征，而非解决特定分类任务。
• 该方法依赖标准的深度卷积架构（例如 AlexNet、VGG 类似结构），并针对半监督学习进行调整。
• 通过零样本迁移学习在多个数据集上评估性能，测量在无需进一步微调的下游任务上的准确率。

实验结果

研究问题

• RQ1 深度卷积网络是否能够在不依赖完全清洁数据集的情况下，从噪声较多的网络图像中学习到鲁棒且可迁移的表示？
• RQ2 在噪声网络数据上训练的模型性能与在干净、精选数据集（如 ImageNet）上训练的模型相比如何？
• RQ3 数据重排序和半监督学习在多大程度上可以缓解大规模网络图像集合中标签噪声和数据偏差的负面影响？
• RQ4 尽管存在噪声监督，使用大规模未标注数据是否仍能提升下游任务的泛化能力？
• RQ5 在 314 万张噪声图像上训练的模型是否能够超越在 120 万张干净 ImageNet 图像上训练的 AlexNet 模型？

主要发现

• 在 314 万张噪声网络图像上训练的模型在多个下游分类任务中优于在 120 万张干净 ImageNet 图像上训练的 AlexNet。
• 所学习的表示性能接近 VGG-16，一种更深、更复杂的架构，证明了其强大的可迁移性。
• 采用数据重排序技术显著提升了模型准确率，通过在训练过程中过滤掉低质量及异常图像。
• 半监督方法有效利用了未标注数据来增强特征学习，即使在存在高标签噪声的情况下也表现良好。
• 结果表明，噪声网络数据可作为深度表示学习中精选数据集的可行且成本效益更高的替代方案。
• 本研究验证了当结合适当的噪声过滤和训练策略时，深度网络能够从噪声数据中实现良好泛化。