[论文解读] Revisiting the Role of Language Priors in Vision-Language Models

Zhiqiu Lin, Xinyue Chen+3 more|arXiv (Cornell University)|Jun 2, 2023

Multimodal Machine Learning Applications被引用 4

一句话总结

该论文提出 VisualGPTScore，一种零样本、无需微调的方法，通过利用视觉语言模型从图像生成给定文本的条件概率来对图像-文本检索进行评分。通过在推理时利用测试时文本分布估计对语言先验进行去偏处理（贝叶斯重加权），该方法在 Winoground 和 EqBen 等具有挑战性的基准测试中取得了最先进性能，仅使用单一视觉语言模型检查点，便超越了复杂的 LLM 增强基线方法。

ABSTRACT

Vision-language models (VLMs) are impactful in part because they can be applied to a variety of visual understanding tasks in a zero-shot fashion, without any fine-tuning. We study $ extit{generative VLMs}$ that are trained for next-word generation given an image. We explore their zero-shot performance on the illustrative task of image-text retrieval across 8 popular vision-language benchmarks. Our first observation is that they can be repurposed for discriminative tasks (such as image-text retrieval) by simply computing the match score of generating a particular text string given an image. We call this probabilistic score the $ extit{Visual Generative Pre-Training Score}$ (VisualGPTScore). While the VisualGPTScore produces near-perfect accuracy on some retrieval benchmarks, it yields poor accuracy on others. We analyze this behavior through a probabilistic lens, pointing out that some benchmarks inadvertently capture unnatural language distributions by creating adversarial but unlikely text captions. In fact, we demonstrate that even a "blind" language model that ignores any image evidence can sometimes outperform all prior art, reminiscent of similar challenges faced by the visual-question answering (VQA) community many years ago. We derive a probabilistic post-processing scheme that controls for the amount of linguistic bias in generative VLMs at test time without having to retrain or fine-tune the model. We show that the VisualGPTScore, when appropriately debiased, is a strong zero-shot baseline for vision-language understanding, oftentimes producing state-of-the-art accuracy.

研究动机与目标

• 探究生成式视觉语言模型是否可作为图像-文本检索等判别性任务的强零样本基线。
• 分析现有视觉语言基准为何在不同模型间表现不一致，尤其是由于语言先验偏差所致。
• 开发一种无需训练、在推理时进行去偏的方法，以纠正预训练与测试时文本分布之间的分布偏移。
• 证明经去偏处理后的 VisualGPTScore 在多个基准上实现最先进零样本性能，超越复杂的 LLM 增强方法。

提出的方法

• 该方法将 VisualGPTScore 定义为 P(text|image)，即生成式 VLM 在给定图像时生成特定文本的概率，从而实现零样本图像-文本匹配。
• 提出一种基于贝叶斯因子 Ptest(text)/Ptrain(text) 的概率去偏方案，用于重加权得分，以在推理时缓解语言先验偏差。
• 去偏过程通过单张噪声图像采样估计 Ptest(text)，实现无需微调的高效推理时自适应。
• 该方法应用于 LLaVA-1.5 等最先进 VLM，无需微调，且兼容任何自回归 VLM。
• 在九个基准上进行评估，包括 Winoground 和 EqBen，使用公开模型检查点，在公平条件下进行。

实验结果

研究问题

• RQ1 生成式 VLM 的下一个词预测概率能否作为图像-文本检索的有效零样本评分？
• RQ2 为何某些视觉语言基准在强生成式 VLM 下表现不佳？
• RQ3 预训练数据中的语言先验在多大程度上误导了某些基准上的检索性能？
• RQ4 是否可在不微调或重新训练的情况下，在推理时纠正语言先验偏差？
• RQ5 对 VisualGPTScore 进行去偏是否能在多样化基准上实现一致性能提升？

主要发现

• VisualGPTScore 在 ARO-Flickr 上实现接近完美的准确率，表明其在包含不合理负样本标题的基准上具备强大的零样本性能。
• 在 Winoground 和 EqBen 上，未经去偏的 VisualGPTScore（α=0）分别达到 36.3% 和 25.7% 的文本检索准确率，优于 CLIPScore 和 LLM 增强基线。
• 通过 α=1（使用单张噪声图像）进行去偏后，Winoground 和 EqBen 上的性能分别提升至 44.3% 和 42.9%，达到最先进结果。
• 即使忽略图像输入的“盲语言模型”在包含不自然标题的基准上也能超越 VLM，凸显语言偏差的存在。
• 去偏后的 VisualGPTScore 在各类基准上均一致提升组平均得分，表明对分布偏移具有鲁棒性。
• 该方法在性能上超越了复杂的 LLM 增强方法（如 VPEval 和 LLMScore），仅使用单一 VLM 检查点且无需额外微调。