[论文解读] Sentence-level Prompts Benefit Composed Image Retrieval

Yang Bai, Xinxing Xu+6 more|arXiv (Cornell University)|Oct 9, 2023

Multimodal Machine Learning Applications被引用 5

一句话总结

本文提出了一种用于组合图像检索的句子级提示方法（SPRC），这是一种新颖的方法，通过使用像BLIP-2这样的预训练视觉-语言模型，从参考图像和相对描述中生成丰富、描述性的句子级提示。通过将这些提示与相对描述拼接，该方法能够利用标准的文本驱动图像检索模型实现高效检索，在处理复杂变化（如物体移除和属性修改）方面优于以往的晚期融合和伪词基方法，在Fashion-IQ和CIRR数据集上实现了最先进性能。

ABSTRACT

Composed image retrieval (CIR) is the task of retrieving specific images by using a query that involves both a reference image and a relative caption. Most existing CIR models adopt the late-fusion strategy to combine visual and language features. Besides, several approaches have also been suggested to generate a pseudo-word token from the reference image, which is further integrated into the relative caption for CIR. However, these pseudo-word-based prompting methods have limitations when target image encompasses complex changes on reference image, e.g., object removal and attribute modification. In this work, we demonstrate that learning an appropriate sentence-level prompt for the relative caption (SPRC) is sufficient for achieving effective composed image retrieval. Instead of relying on pseudo-word-based prompts, we propose to leverage pretrained V-L models, e.g., BLIP-2, to generate sentence-level prompts. By concatenating the learned sentence-level prompt with the relative caption, one can readily use existing text-based image retrieval models to enhance CIR performance. Furthermore, we introduce both image-text contrastive loss and text prompt alignment loss to enforce the learning of suitable sentence-level prompts. Experiments show that our proposed method performs favorably against the state-of-the-art CIR methods on the Fashion-IQ and CIRR datasets. The source code and pretrained model are publicly available at https://github.com/chunmeifeng/SPRC

研究动机与目标

• 为解决现有组合图像检索（CIR）方法在处理复杂视觉变化（如物体移除和属性修改）时的局限性。
• 克服基于伪词的提示方法的不足，后者由于短而单一的标记表示，无法解耦参考图像中的多个物体。
• 提出一种新的提示策略，利用视觉和语言上下文，对图像变化进行更精确、更具表现力的描述。
• 证明句子级提示相比伪词或晚期融合方法，在基准CIR数据集上能实现更优的检索性能。

提出的方法

• 利用预训练视觉-语言模型（如BLIP-2）通过轻量级Q-Former模块，从参考图像和相对描述中生成句子级提示。
• 将生成的句子级提示与相对描述拼接，形成用于检索的增强文本查询。
• 使用双重损失训练提示生成网络：图像-文本对比损失和文本提示对齐损失，以确保语义一致性和准确性。
• 采用Q-Former作为文本提示生成网络，同时输入图像特征和描述嵌入，以生成上下文相关的句子级描述。
• 通过平衡超参数γ优化模型，以加权对齐损失，确保提示同时保留视觉和语言信息。
• 端到端微调整个系统，以提升在CIR基准上的提示质量和检索性能。

Figure 1: Workflows of existing CIR methods and Ours: (a) Late fusion, (b) pseudo-word embedding, and (c) our proposed method. It can be seen that late fusion and pseudo-word embedding are limited in handling the cases where multiple objects are involved in the reference image and complex changes, e

实验结果

研究问题

• RQ1 从图像和描述中生成的句子级提示是否能优于基于伪词或晚期融合的方法，在组合图像检索中表现更优？
• RQ2 句子级提示的长度如何影响检索性能和计算成本？
• RQ3 在提示生成过程中联合建模图像和描述特征，是否能更好地解耦如物体移除等复杂视觉变化？
• RQ4 在提示生成过程中，图像和文本监督的最优平衡是什么？
• RQ5 现有的基于文本的图像检索模型是否可通过句子级提示增强被有效重用于CIR？

主要发现

• 所提出的SPRC方法在Fashion-IQ和CIRR两个数据集上均实现了最先进性能，尤其在处理复杂视觉变化方面优于以往方法。
• 在Fashion-IQ上，SPRC实现了54.39%的召回率@1、84.76%的召回率@5和91.25%的召回率@10，显著优于基线方法。
• 在CIRR上，SPRC实现了81.27%的平均召回率，超越了先前方法，尤其在涉及物体移除和属性修改的挑战性案例中表现更优。
• 消融实验表明，提示长度与性能呈正相关，直至32个标记，超过该长度后收益递减。
• 当γ = 0.8时，对齐损失取得最优性能，表明平衡视觉与文本监督对提示质量至关重要。
• 该方法优于Ours RC（仅从描述生成提示）和Ours RI（仅从图像生成提示），证实了联合图像-描述建模的必要性。

Figure 2: Overall pipeline of our proposed SPRC . (a) Illustration of the training phase, where proper sentence-level prompts are integrated into the relative captions thereby providing essential textual prompts containing information about the objects depicted in the reference images and their rela