[论文解读] Visual Fashion-Product Search at SK Planet

Taewan Kim, Seyeong Kim+4 more|arXiv (Cornell University)|Sep 26, 2016

Advanced Image and Video Retrieval Techniques参考文献 34被引用 4

一句话总结

本文提出了一种在SK Planet部署的大规模视觉时尚商品搜索系统，结合了学习到的时尚属性、感兴趣区域（ROI）检测以及深度外观和颜色特征，以提升相似性搜索效果。通过使用基于LSTM的多标签框架将时尚属性建模为序列分类问题，并利用属性与视觉特征上的倒排索引，该系统在IoU=0.5时实现了0.877的高mAP，且检索性能具有竞争力，显著通过语义和视觉线索提升了相关性。

ABSTRACT

We build a large-scale visual search system which finds similar product images given a fashion item. Defining similarity among arbitrary fashion-products is still remains a challenging problem, even there is no exact ground-truth. To resolve this problem, we define more than 90 fashion-related attributes, and combination of these attributes can represent thousands of unique fashion-styles. The fashion-attributes are one of the ingredients to define semantic similarity among fashion-product images. To build our system at scale, these fashion-attributes are again used to build an inverted indexing scheme. In addition to these fashion-attributes for semantic similarity, we extract colour and appearance features in a region-of-interest (ROI) of a fashion item for visual similarity. By sharing our approach, we expect active discussion on that how to apply current computer vision research into the e-commerce industry.

研究动机与目标

• 解决在缺乏真实标签的情况下，对任意时尚商品之间语义相似性的定义挑战。
• 构建一个可扩展的大规模视觉搜索系统，用于时尚电商，结合语义与视觉特征。
• 通过整合时尚属性与深度外观及颜色特征，提升检索准确性。
• 探索序列建模（LSTM）在多标签时尚属性分类中的应用，以实现更优的语义理解。
• 展示引导式时尚类别信息在减少误检并提升ROI检测性能方面的价值。

提出的方法

• 系统构建了一个大规模时尚属性数据集，涵盖19个时尚类别中的90多个属性，并为每个商品标注了ROI。
• 采用自定义图像编码器，而非VGG16等预训练模型，以提取时尚属性识别所需的特征。
• 训练一个基于LSTM的序列模型，以隐式学习时尚属性之间的依赖关系，将多标签分类问题转化为序列分类任务。
• 系统采用在时尚属性与视觉特征上的倒排索引方案，以实现高效的规模化检索。
• 外观特征从预训练GoogleNet（inception4与inception5层）的ROI激活图中提取，并通过阈值化处理实现二值化，以支持可扩展的检索。
• 颜色特征通过HSV直方图分箱提取，并与外观特征结合，使用加权距离度量进行最终相似性评分。

实验结果

研究问题

• RQ1 如何有效建模时尚属性之间的依赖关系，以提升时尚商品搜索中的多标签分类性能？
• RQ2 引导式时尚类别信息在多大程度上能提升ROI检测准确率并减少误检？
• RQ3 对深度神经网络激活图进行简单阈值化处理，是否能实现具有竞争力的检索性能，同时支持可扩展的索引？
• RQ4 与仅使用视觉特征相比，结合语义属性与视觉特征在多大程度上能提升检索到的时尚商品的相关性？
• RQ5 在时尚特定属性识别中，使用自定义图像编码器与标准预训练网络相比，其影响如何？

主要发现

• 基于LSTM的属性识别模型能有效捕捉时尚属性之间的依赖关系，相较于独立分类器，显著提升了多标签分类性能。
• 引导式时尚类别信息显著提升了ROI检测效果，在IoU=0.5时mAP达到0.877，而无引导时为0.849。
• 使用GoogleNet提取外观特征在Holidays基准上达到0.783的mAP，在UKB数据集上达到0.907/0.908的精确率/召回率，优于许多未微调的深度特征方法。
• 通过简单阈值化对深度外观特征进行二值化，仅使Holidays数据集上的mAP下降0.02，实现了极小性能损失的可扩展检索。
• 将时尚属性与视觉特征结合，能显著提升检索结果的相关性，尤其在捕捉用户意图（如性别、季节、风格）方面表现突出。
• 通过结合属性上的倒排索引与混合视觉特征匹配，系统在300万张图像数据集上实现了高可扩展性与高性能，支持实时检索。