[论文解读] Neural Networks for Fashion Image Classification and Visual Search

Fengzi Li, Shashi Kant+3 more|arXiv (Cornell University)|May 17, 2020

Advanced Image and Video Retrieval Techniques参考文献 2被引用 4

一句话总结

本文提出了一种用于时尚电商的双深度学习方法：(1) 使用 VGG19 和 Inception V3 进行迁移学习，以实现对时尚商品图像的高精度分类；(2) 基于自编码器的视觉搜索，利用余弦相似度从图像中检索相似商品。主要贡献在于构建了一个实用的端到端流程，为卖家实现自动化标签生成，为买家提供视觉搜索功能，在分辨率有限且类别不平衡的真实时尚数据集上实现了高精度。

ABSTRACT

We discuss two potentially challenging problems faced by the ecommerce industry. One relates to the problem faced by sellers while uploading pictures of products on the platform for sale and the consequent manual tagging involved. It gives rise to misclassifications leading to its absence from search results. The other problem concerns with the potential bottleneck in placing orders when a customer may not know the right keywords but has a visual impression of an image. An image based search algorithm can unleash the true potential of ecommerce by enabling customers to click a picture of an object and search for similar products without the need for typing. In this paper, we explore machine learning algorithms which can help us solve both these problems.

研究动机与目标

• 为解决卖家手动商品标签导致的误分类及搜索可见性差的问题。
• 解决买家在商品搜索中对关键词依赖的问题，通过支持基于图像的视觉搜索。
• 在真实世界时尚数据集上，利用预训练的卷积神经网络构建可扩展且高精度的图像分类系统。
• 实现并评估基于自编码器与余弦相似度的视觉搜索系统，以检索相似商品。
• 评估模型在电商中常见的类别不平衡与低分辨率图像约束下的性能表现。

提出的方法

• 在 Fashion Product Images (Small) 数据集上微调预训练的 VGG19 和 Inception V3 模型，用于图像分类任务。
• 利用迁移学习从卷积层提取特征，并微调全连接层以实现分类。
• 使用编码器-解码器架构训练深度自编码器，学习时尚图像的低维潜在表征。
• 在视觉搜索流程中应用余弦相似度比较图像嵌入，以检索最相似的 top-k 张图像。
• 实施数据过滤以减少少数类别样本，并应用类别重加权策略以缓解类别不平衡问题。
• 利用 Google Colab 的 GPU/TPU 进行高效训练，并基于 TensorFlow 实现模型。

实验结果

研究问题

• RQ1 尽管存在类别不平衡，预训练的 CNN 模型（如 VGG19 和 Inception V3）是否能在时尚商品图像分类任务中实现高精度？
• RQ2 自编码器在时尚电商视觉搜索中，是否能有效学习有意义的图像嵌入？
• RQ3 学习到的嵌入之间的余弦相似度在多大程度上能检索到语义和视觉上相似的时尚商品？
• RQ4 低分辨率图像与类别不平衡对图像分类与视觉搜索模型性能的影响如何？
• RQ5 使用外部图像（如网络获取的照片）作为查询时，视觉搜索是否能泛化到真实用户查询场景？

主要发现

• Inception V3 模型在所有测试架构中表现最佳，图像分类任务的准确率达到 93.7%。
• 基于自编码器的视觉搜索成功检索到语义和视觉上相似的时尚商品，定性结果显示在 T 恤、耳环等常见类别中具有高度相关性。
• 模型在使用外部图像作为查询时，能够从数据集中检索到相关商品，展现出良好的泛化能力。
• 尽管图像分辨率较低（80×60 像素），模型仍表现出强劲性能，表明其具备实时部署的可行性。
• 类别不平衡仍是主要挑战，特别是对于稀有类别（如手链仅 7 张图像），导致模型在这些类别上的泛化能力受限。
• 采用数据过滤与类别重加权策略后，模型鲁棒性有所提升，但少数类别仍存在误分类现象。