[论文解读] Retrieval-Enhanced Contrastive Vision-Text Models

Ahmet İşcen, Mathilde Caron+2 more|arXiv (Cornell University)|Jun 12, 2023

Multimodal Machine Learning Applications被引用 4

一句话总结

该论文提出了一种检索增强对比学习（RECO）模型，通过将CLIP嵌入与从外部记忆中检索到的跨模态知识进行融合，从而在不进行微调的情况下提升零样本细粒度视觉-语言理解性能。通过先进行单模态检索（图像到图像或文本到文本），再进行跨模态融合，RECO在斯坦福汽车（+10.9）、CUB-2011（+10.2）和OVEN（+7.3）等具有挑战性的基准测试上显著提升了性能。

ABSTRACT

Contrastive image-text models such as CLIP form the building blocks of many state-of-the-art systems. While they excel at recognizing common generic concepts, they still struggle on fine-grained entities which are rare, or even absent from the pre-training dataset. Hence, a key ingredient to their success has been the use of large-scale curated pre-training data aiming at expanding the set of concepts that they can memorize during the pre-training stage. In this work, we explore an alternative to encoding fine-grained knowledge directly into the model's parameters: we instead train the model to retrieve this knowledge from an external memory. Specifically, we propose to equip existing vision-text models with the ability to refine their embedding with cross-modal retrieved information from a memory at inference time, which greatly improves their zero-shot predictions. Remarkably, we show that this can be done with a light-weight, single-layer, fusion transformer on top of a frozen CLIP. Our experiments validate that our retrieval-enhanced contrastive (RECO) training improves CLIP performance substantially on several challenging fine-grained tasks: for example +10.9 on Stanford Cars, +10.2 on CUB-2011 and +7.3 on the recent OVEN benchmark, where we even outperform the fine-tuned models on unseen classes.

研究动机与目标

• 在标准对比视觉-语言模型（如CLIP）所能达到的性能之外，进一步提升零样本细粒度图像与文本分类性能。
• 探索在不进行微调或重新训练的情况下，外部知识检索是否能够增强模型的泛化能力。
• 解决CLIP在识别罕见或细粒度实体时因预训练数据覆盖不足而导致的局限性。
• 设计一种轻量化、通用且可部署的方法，在推理阶段利用大规模外部记忆增强模型表征。

提出的方法

• 为冻结的CLIP模型配备一个轻量级、单层的融合Transformer，利用检索到的知识对图像和文本嵌入进行优化。
• 使用单模态检索：以图像表征为查询检索最相似的k张图像，以文本表征为查询检索最相似的k段文本。
• 将检索到的项目（图像或文本）与原始查询进行融合，形成增强的多模态表征。
• 在精选的WebLI子集（6100万条样本）上以对比学习方式训练融合模块，使增强表征对齐。
• 利用近似k-NN搜索实现在大规模记忆（如含10亿项的WebLI）上的高效推理。
• 通过在部署后无需任务特定适配或重新训练，确保方法的通用性。

实验结果

研究问题

• RQ1 在细粒度视觉-语言任务上，仅通过外部知识检索是否能超越标准对比预训练的零样本性能？
• RQ2 在本场景中，单模态检索（图像到图像或文本到文本）是否优于跨模态检索？
• RQ3 检索项目数量如何影响性能与推理效率？
• RQ4 模型是否能在不重新训练的情况下泛化到更新或更大的记忆？

主要发现

• 与CLIP相比，RECO在斯坦福汽车数据集上实现了+10.9的绝对性能提升，在CUB-2011上提升了+10.2，在OVEN基准上提升了+7.3。
• 即使仅检索一个项目，性能也已优于CLIP，且在k=10次检索时性能趋于饱和。
• 模型能泛化到更大、未见过的记忆：在仅用其1%数据训练后，于完整WebLI上评估时性能显著提升。
• 在相同数据上微调CLIP的独立MLP头未能提升性能，验证了检索增强学习的优越性。
• 单模态检索（图像到图像或文本到文本）产生的匹配更相关，从而生成更优的融合表征。
• 即使减少检索数量，该方法仍保持强性能，实现计算开销极小的高效推理。