[论文解读] The Fashion IQ Dataset: Retrieving Images by Combining Side Information and Relative Natural Language Feedback.

Xiaoxiao Guo, Hui Wu+3 more|arXiv (Cornell University)|May 30, 2019

Multimodal Machine Learning Applications参考文献 47被引用 36

一句话总结

本文介绍了Fashion IQ数据集，这是首个将辅助信息（产品描述和视觉属性）与人类生成的、用于区分相似时尚单品的对比性字幕相结合的数据集。本文提出了一种基于Transformer的用户模拟器与检索器，该模型整合了视觉特征、用户反馈和对话历史，在基于对话的时尚图像检索任务中取得了最先进性能。

ABSTRACT

Conversational interfaces for the detail-oriented retail fashion domain are more natural, expressive, and user friendly than classical keyword-based search interfaces. In this paper, we introduce the Fashion IQ dataset to support and advance research on interactive fashion image retrieval. Fashion IQ is the first fashion dataset to provide human-generated captions that distinguish similar pairs of garment images together with side-information consisting of real-world product descriptions and derived visual attribute labels for these images. We provide a detailed analysis of the characteristics of the Fashion IQ data, and present a transformer-based user simulator and interactive image retriever that can seamlessly integrate visual attributes with image features, user feedback, and dialog history, leading to improved performance over the state of the art in dialog-based image retrieval. We believe that our dataset will encourage further work on developing more natural and real-world applicable conversational shopping assistants.

研究动机与目标

• 为解决基于关键词的时尚搜索的局限性，实现更自然、更富对话感的交互界面。
• 创建一个全新的基准数据集，包含配对的时尚图像、对比性字幕以及丰富的辅助信息（产品描述和视觉属性）。
• 开发一种用户模拟器与交互式检索器，有效整合视觉特征、用户反馈与对话历史。
• 通过统一的基于Transformer的框架融合多种模态，提升基于对话的图像检索性能。

提出的方法

• Fashion IQ数据集包含10,000对图像，配有由人类生成的字幕，用于区分外观相似的服装单品。
• 辅助信息包括真实世界的产品描述和自动生成的视觉属性标签（例如颜色、袖型等）。
• 基于Transformer的用户模拟器根据图像相似度与对话上下文生成自然语言反馈。
• 交互式图像检索器通过交叉注意力机制融合视觉特征、视觉属性、用户反馈与对话历史。
• 模型在多轮对话设置下端到端训练，以优化检索准确率。
• 该框架支持在对话式时尚搜索场景中实现图像到文本与文本到图像的检索。

实验结果

研究问题

• RQ1 将辅助信息与自然语言反馈相结合，是否能提升对话场景下时尚图像检索的准确性？
• RQ2 基于Transformer的用户模拟器在为外观相似的时尚单品生成真实、具有区分性的反馈方面，效果如何？
• RQ3 与仅依赖图像特征相比，整合视觉属性在多大程度上提升了检索性能？
• RQ4 该模型在面对多样的用户反馈模式与对话历史时，在时尚搜索中的表现如何？
• RQ5 所提出的框架是否能在基于对话的图像检索任务中超越现有最先进方法？

主要发现

• Fashion IQ数据集为基于对话的时尚图像检索提供了新的基准，其为相似服装单品提供了高质量、对比性的字幕。
• 所提出的交互式检索器通过有效融合视觉特征、属性与对话历史，实现了最先进性能。
• 视觉属性的整合显著提升了检索准确率，尤其在服装外观高度相似的情况下表现更优。
• 基于Transformer的用户模拟器生成的反馈与人类行为高度相似，增强了对话系统的逼真性与有效性。
• 该模型在多种反馈类型与对话轮次下均表现出稳健性能，表明其在真实对话场景中具备强大的泛化能力。