[论文解读] Snap and Find: Deep Discrete Cross-domain Garment Image Retrieval

Yadan Luo, Ziwei Wang+3 more|arXiv (Cornell University)|Apr 5, 2019

Advanced Image and Video Retrieval Techniques参考文献 31被引用 4

一句话总结

本文提出深度多任务跨域哈希（DMCH），一种联合学习框架，通过建模顺序性服装属性并学习注意力感知的视觉特征，实现跨域服装图像检索。通过利用顺序属性学习引导空间注意力，而无需关键点标注，DMCH在DeepFashion和DARN数据集上实现比当前最先进模型更高的检索准确率与属性预测性能，同时将推理速度提升306倍。

ABSTRACT

With the increasing number of online stores, there is a pressing need for intelligent search systems to understand the item photos snapped by customers and search against large-scale product databases to find their desired items. However, it is challenging for conventional retrieval systems to match up the item photos captured by customers and the ones officially released by stores, especially for garment images. To bridge the customer- and store- provided garment photos, existing studies have been widely exploiting the clothing attributes ( extit{e.g.,} black) and landmarks ( extit{e.g.,} collar) to learn a common embedding space for garment representations. Unfortunately they omit the sequential correlation of attributes and consume large quantity of human labors to label the landmarks. In this paper, we propose a deep multi-task cross-domain hashing termed extit{DMCH}, in which cross-domain embedding and sequential attribute learning are modeled simultaneously. Sequential attribute learning not only provides the semantic guidance for embedding, but also generates rich attention on discriminative local details ( extit{e.g.,} black buttons) of clothing items without requiring extra landmark labels. This leads to promising performance and 306$ imes$ boost on efficiency when compared with the state-of-the-art models, which is demonstrated through rigorous experiments on two public fashion datasets.

研究动机与目标

• 为解决在跨域检索中匹配用户拍摄的服装图像与专业拍摄的产品图像的挑战。
• 通过将顺序性服装属性建模为视觉注意力的语义引导，减少对昂贵关键点标注的依赖。
• 通过使用紧凑的128位二进制码提升检索效率，同时保持高准确率。
• 在端到端深度学习框架中联合优化跨域图像检索与顺序属性预测。
• 通过捕捉语言顺序排列下服装属性之间的语义相关性，增强细粒度判别能力。

提出的方法

• 提出一种深度多任务学习框架，联合训练跨域图像检索与顺序属性预测。
• 使用有序属性序列（如“黑色”、“丝绸”、“短袖”）作为语义监督，引导卷积特征中的空间注意力。
• 应用三元组损失，学习保留同一服装在用户域与店铺域图像之间相似性的判别性二进制嵌入。
• 采用类似Siamese的网络架构，共享主干网络，从用户图像与店铺图像中提取视觉特征。
• 引入注意力模块，基于预测的属性序列突出显示具有判别性的局部区域（如纽扣、领口）。
• 将二进制码长度固定为128位，以支持高效的汉明空间搜索，显著提升查询速度。

实验结果

研究问题

• RQ1 建模顺序性服装属性是否能在无需人工关键点标注的情况下提升跨域服装图像检索性能？
• RQ2 顺序属性学习在多大程度上增强了对服装图像中细粒度视觉细节的关注？
• RQ3 联合学习属性预测与图像检索在多大程度上提升了检索准确率与效率？
• RQ4 与当前最先进模型相比，该方法在检索性能与计算效率方面表现如何？
• RQ5 属性序列中的语言顺序对模型生成有意义且准确描述的能力有何影响？

主要发现

• 在DARN数据集上，DMCH的ROUGE-L得分为51.0，在DeepFashion数据集上为44.1，显著优于先前方法如DARN（32.5）和FashionNet（35.8）。
• 在DARN数据集上，DMCH的CIDEr得分为98.6，远超FashionNet（76.5）和DARN（53.2），表明其在顺序属性生成方面具有卓越性能。
• 通过利用顺序属性学习引导空间注意力，模型降低了对标注关键点的依赖，同时提升了检索准确率。
• 由于采用紧凑的128位二进制码，DMCH相比当前最先进模型实现了306倍的推理效率提升。
• 注意力可视化结果表明，模型能正确识别出如袖口、领口等判别性区域，并保持“蕾丝”与“系带”等属性之间的语义关联。
• 嵌入空间的t-SNE可视化显示，即使图像在姿态、光照或背景上存在差异，相似的服装仍被聚类在一起。