[论文解读] Vision-by-Language for Training-Free Compositional Image Retrieval

Shyamgopal Karthik, Karsten Roth+2 more|arXiv (Cornell University)|Oct 13, 2023

Multimodal Machine Learning ApplicationsComputer Science被引用 3

一句话总结

该论文提出CIReVL，一种无需训练的零样本组合图像检索方法，通过视觉语言模型（VLM）生成图像字幕，并利用大语言模型（LLM）对文本修改进行推理。通过解耦图像理解、基于语言的推理与跨模态检索，CIReVL实现了最先进性能——在CIRCO上的mAP@5指标最高提升2.5倍，在CIRR上达到R@1=34.64%；同时通过模块化、基于语言的流水线组件，实现了人类可解释性与事后干预能力。

ABSTRACT

Given an image and a target modification (e.g an image of the Eiffel tower and the text "without people and at night-time"), Compositional Image Retrieval (CIR) aims to retrieve the relevant target image in a database. While supervised approaches rely on annotating triplets that is costly (i.e. query image, textual modification, and target image), recent research sidesteps this need by using large-scale vision-language models (VLMs), performing Zero-Shot CIR (ZS-CIR). However, state-of-the-art approaches in ZS-CIR still require training task-specific, customized models over large amounts of image-text pairs. In this work, we propose to tackle CIR in a training-free manner via our Compositional Image Retrieval through Vision-by-Language (CIReVL), a simple, yet human-understandable and scalable pipeline that effectively recombines large-scale VLMs with large language models (LLMs). By captioning the reference image using a pre-trained generative VLM and asking a LLM to recompose the caption based on the textual target modification for subsequent retrieval via e.g. CLIP, we achieve modular language reasoning. In four ZS-CIR benchmarks, we find competitive, in-part state-of-the-art performance - improving over supervised methods. Moreover, the modularity of CIReVL offers simple scalability without re-training, allowing us to both investigate scaling laws and bottlenecks for ZS-CIR while easily scaling up to in parts more than double of previously reported results. Finally, we show that CIReVL makes CIR human-understandable by composing image and text in a modular fashion in the language domain, thereby making it intervenable, allowing to post-hoc re-align failure cases. Code will be released upon acceptance.

研究动机与目标

• 通过在无需训练的情况下实现零样本检索，降低监督式组合图像检索（CIR）的高标注成本。
• 通过主要在语言领域操作，提升CIR中的可解释性与用户干预能力。
• 探索无需微调的零样本CIR中的缩放规律，利用模块化、即插即用的组件。
• 证明现成模型可实现与任务专用微调模型相当或更优的性能。
• 通过在任意流水线阶段允许人工干预，实现对检索失败的事后修正。

提出的方法

• 使用预训练视觉语言模型（如BLIP-2或CoCa）为参考图像生成详细字幕。
• 将生成的字幕与文本修改（如“没有人在夜间”）输入大语言模型（LLM），生成描述目标修改图像的字幕。
• 使用预训练的CLIP模型，基于LLM生成的字幕在数据库中检索最相似的图像。
• 将检索流水线解耦为三个模块化阶段：字幕生成、基于语言的推理与跨模态检索。
• 通过允许在任意阶段手动修正字幕或指令，实现无需重训练的用户干预。
• 通过简单替换检索模型（如从CLIP-B/16升级为ViT-g/14）实现性能扩展，无需重训练整个系统。

实验结果

研究问题

• RQ1 使用现成模型构建的无需训练、模块化流水线，是否能在零样本组合图像检索中实现与微调方法相当或更优的性能？
• RQ2 LLM阶段的语言级推理在多大程度上提升了检索准确率与泛化能力？
• RQ3 在不重新训练的情况下，检索模型容量的缩放规律如何影响零样本CIR的性能？
• RQ4 模块化、基于语言的设计是否能实现人类可解释性与事后干预，以纠正检索失败？
• RQ5 该方法是否能泛化至多样化的CIR基准，包括领域转换与条件相似性任务？

主要发现

• 在CIRR基准上，CIReVL达到R@1=34.64%，显著优于SEARLE报告的先前最先进成绩24.55%。
• 在CIRCO基准上，CIReVL达到mAP@5=26.77%，超过此前最高报告分数11.68%的两倍以上。
• 性能与检索模型容量之间表现出清晰的对数线性缩放关系，更大模型带来显著性能提升。
• 由于基于语言的流水线设计，失败案例易于诊断与修正，可在字幕或指令层级实现有效的用户干预。
• 消融研究证实，对文本查询的语言级推理至关重要，而字幕生成与检索组件对整体性能也有显著贡献。
• 模块化、无需训练的设计支持组件的无缝扩展与替换，例如从CLIP-B/16升级至ViT-g/14，无需重训练或架构修改。