[论文解读] Tag Prediction at Flickr: a View from the Darkroom

Kofi Boakye, Sachin Farfade+3 more|arXiv (Cornell University)|Dec 6, 2016

Video Analysis and Summarization参考文献 32被引用 6

一句话总结

本文提出直接从Flickr中的噪声用户生成标签中训练高性能、轻量级的图像标签预测模型，无需依赖干净的预训练数据。结果表明，仅使用大规模噪声数据（如YFCC100M数据集）进行训练的模型，其性能可与ImageNet预训练模型相媲美，且在小规模干净数据集上微调后性能进一步提升，支持在真实世界应用中实现可扩展、数据高效的深度学习。

ABSTRACT

Automated photo tagging has established itself as one of the most compelling applications of deep learning. While deep convolutional neural networks have repeatedly demonstrated top performance on standard datasets for classification, there are a number of often overlooked but important considerations when deploying this technology in a real-world scenario. In this paper, we present our efforts in developing a large-scale photo tagging system for Flickr photo search. We discuss topics including how to 1) select the tags that matter most to our users; 2) develop lightweight, high-performance models for tag prediction; and 3) leverage the power of large amounts of noisy data for training. Our results demonstrate that, for real-world datasets, training exclusively with this noisy data yields performance on par with the standard paradigm of first pre-training on clean data and then fine-tuning. In addition, we observe that the models trained with user-generated data can yield better fine-tuning results when a small amount of clean data is available. As such, we advocate for the approach of harnessing user-generated data in large-scale systems.

研究动机与目标

• 开发一种可扩展的、面向真实世界消费者应用（如Flickr）的图像标签系统，无需依赖干净的手动整理数据集。
• 通过直接从该类数据中训练鲁棒模型，解决大规模用户生成图像标注中的标签噪声问题。
• 设计一种适合在大规模系统中高效部署的轻量级神经网络架构（YFNet）。
• 提出一种系统化的方法，用于选择与用户相关联的概念，以提升标签预测的实用性和相关性。
• 引入人机协同校准方法，对分类器得分进行调整，以增强生产环境中预测结果的可靠性。

提出的方法

• 利用Yahoo Flickr Creative Commons 100M（YFCC100M）数据集，其中包含1亿张图像，附带用户生成的标签、描述和标题作为训练数据。
• 提出YFNet，一种专为低计算和内存使用而设计的轻量级卷积神经网络架构，优化用于大规模系统中的实时推理。
• 仅使用噪声用户生成标注进行端到端训练，避免标准的两阶段流程（即先在干净数据上预训练，如ImageNet，再在目标任务上微调）。
• 基于用户兴趣和频率实施概念选择策略，过滤标签，聚焦于对现实世界搜索与推荐任务最相关的标签。
• 实施人机协同校准技术，调整模型置信度得分，通过纠正预测中的过度自信，提升生产环境中的可靠性。
• 使用反映真实世界数据噪声与多样性的基准进行性能评估，而非依赖干净的标准基准。

实验结果

研究问题

• RQ1 是否可以仅使用噪声用户生成标签，而无需任何干净预训练数据，有效训练出具有竞争力的图像标签预测模型？
• RQ2 仅使用噪声用户生成数据训练的模型，其性能与标准范式（即先ImageNet预训练，再微调）相比如何？
• RQ3 当少量干净数据可用时，基于大规模噪声数据预训练的模型，其性能提升程度如何？
• RQ4 标签噪声对模型泛化能力有何影响？在真实世界部署中，如何有效管理此类噪声？
• RQ5 如何为具有严格延迟和内存限制的大规模消费者应用，设计出轻量级且高性能的模型？

主要发现

• 仅在YFCC100M数据集的噪声用户生成标签上进行训练的模型，其性能可与在ImageNet上预训练并微调后的模型相媲美。
• 当存在少量干净数据时，基于大规模噪声数据预训练的模型在微调阶段的表现优于在干净数据上预训练的模型，表明噪声数据可带来更好的泛化能力。
• 所提出的YFNet架构在显著降低计算成本的同时实现了高精度，适用于大规模系统中的实时部署。
• 人机协同校准方法有效降低了模型的过度自信，提升了预测结果的可靠性与用户信任度。
• 基于用户兴趣与频率的系统化标签选择策略，使现实世界搜索场景中的标签预测更具相关性与实用性。
• 本研究证明，当使用大规模、多样化的数据时，标签噪声并非模型性能的决定性障碍，挑战了‘干净数据对高精度至关重要’的假设。