[论文解读] The iMaterialist Fashion Attribute Dataset

Sheng Guo, Weilin Huang+7 more|arXiv (Cornell University)|Jun 13, 2019

Generative Adversarial Networks and Image Synthesis参考文献 42被引用 4

一句话总结

本文介绍了iMaterialist Fashion Attribute（iFashion-Attribute）数据集，这是首个百万规模、多标签、细粒度的时尚图像数据集，涵盖8个类别组中的228个专家标注属性。在该数据集上训练的深度卷积神经网络（CNN）在DeepFashion等时尚基准上实现了最先进的迁移学习性能，优于在ImageNet或Clothes-1M上预训练的模型。

ABSTRACT

Large-scale image databases such as ImageNet have significantly advanced image classification and other visual recognition tasks. However much of these datasets are constructed only for single-label and coarse object-level classification. For real-world applications, multiple labels and fine-grained categories are often needed, yet very few such datasets exist publicly, especially those of large-scale and high quality. In this work, we contribute to the community a new dataset called iMaterialist Fashion Attribute (iFashion-Attribute) to address this problem in the fashion domain. The dataset is constructed from over one million fashion images with a label space that includes 8 groups of 228 fine-grained attributes in total. Each image is annotated by experts with multiple, high-quality fashion attributes. The result is the first known million-scale multi-label and fine-grained image dataset. We conduct extensive experiments and provide baseline results with modern deep Convolutional Neural Networks (CNNs). Additionally, we demonstrate models pre-trained on iFashion-Attribute achieve superior transfer learning performance on fashion related tasks compared with pre-training from ImageNet or other fashion datasets. Data is available at: https://github.com/visipedia/imat_fashion_comp

研究动机与目标

• 解决时尚领域中大规模、高质量、多标签和细粒度图像数据集的缺乏问题。
• 创建一个包含超过一百万张时尚图像的数据集，涵盖8个类别组中的228个细粒度属性。
• 通过真实世界时尚数据，推动多标签图像识别和细粒度视觉分类的研究。
• 展示在iFashion-Attribute上预训练对下游时尚识别任务迁移学习性能的优越性。
• 使用现代CNN提供强基线结果，为时尚属性预测建立新的性能标准。

提出的方法

• 从多样化来源收集超过一百万张时尚图像，并由专家对8个组别（类别、颜色、性别、材质、领型、图案、袖型和风格）中的228个细粒度属性进行标注。
• 采用多阶段标注流程，结合自动过滤、专家标注和质量控制，以确保标签的高准确性和一致性。
• 使用最先进的深度卷积神经网络（CNN），包括Inception-BN，进行多标签属性预测的训练与评估。
• 通过在DeepFashion和Clothes-50K基准上微调在iFashion-Attribute上预训练的模型，评估迁移学习性能。
• 采用标准训练协议，使用交叉熵损失和标准数据增强，未使用专门的噪声鲁棒训练技术。
• 在验证集上使用精确率、召回率和top-k准确率指标报告性能，并与在ImageNet和Clothes-1M上预训练的模型进行比较。

实验结果

研究问题

• RQ1 与现有基准相比，大规模、多标签、细粒度的时尚属性数据集是否能提升多标签图像识别的性能？
• RQ2 在时尚特定任务的迁移学习性能方面，iFashion-Attribute上的预训练与在ImageNet或Clothes-1M上的预训练相比如何？
• RQ3 时尚属性的细粒度特性以及高类内多样性在多大程度上对标准CNN和现有识别基准构成挑战？
• RQ4 在百万规模数据集中包含专家标注的多标签属性，是否能提升下游任务中的泛化能力和可迁移性？
• RQ5 在iFashion-Attribute上使用简单、标准的CNN训练协议，是否能超越在更嘈杂数据集（如Clothes-1M）上训练的复杂噪声鲁棒方法？

主要发现

• iFashion-Attribute数据集包含913,857张训练图像，涵盖8个组别的228个细粒度属性，平均每张图像有5.0个标签。
• 在DeepFashion验证集上，iFashion-Attribute预训练的模型达到88.2%的Top-1准确率和93.3%的Top-5准确率，优于在ImageNet上预训练的模型（87.3%和92.9%）以及在Clothes-1M上预训练的模型（85.9%和91.9%）。
• 在Clothes-50K基准上，iFashion-Attribute预训练的模型达到80.5%的准确率，与在更嘈杂的Clothes-1M数据集上训练的专用噪声鲁棒方法性能相当。
• 该数据集的高质量、专家标注的标签以及细粒度特性显著提升了模型的泛化能力和迁移性能，即使未使用复杂的数据清洗技术。
• 结果表明，iFashion-Attribute是时尚视觉任务中更优的预训练来源，在迁移学习基准中优于ImageNet和Clothes-1M。
• 消融实验证实，标签质量和规模至关重要：在iFashion-Attribute上训练的简单模型优于在更嘈杂数据上训练的复杂模型，凸显了高质量、专家标注数据的价值。