[论文解读] Visual Clues: Bridging Vision and Language Foundations for Image Paragraph Captioning

Yujia Xie, Luowei Zhou+5 more|arXiv (Cornell University)|Jun 3, 2022

Multimodal Machine Learning Applications被引用 9

一句话总结

本文提出 BEST 框架，利用视觉基础模型生成的视觉线索（即从视觉基础模型中提取的结构化文本提示），实现视觉与语言模型在图像段落描述任务中的对齐。通过利用大模型的零样本能力及闭环验证机制，BEST 生成了高质量、整体性的图像描述，其在图像段落描述与视觉问答基准测试中均优于先前方法。

ABSTRACT

People say, "A picture is worth a thousand words". Then how can we get the rich information out of the image? We argue that by using visual clues to bridge large pretrained vision foundation models and language models, we can do so without any extra cross-modal training. Thanks to the strong zero-shot capability of foundation models, we start by constructing a rich semantic representation of the image (e.g., image tags, object attributes / locations, captions) as a structured textual prompt, called visual clues, using a vision foundation model. Based on visual clues, we use large language model to produce a series of comprehensive descriptions for the visual content, which is then verified by the vision model again to select the candidate that aligns best with the image. We evaluate the quality of generated descriptions by quantitative and qualitative measurement. The results demonstrate the effectiveness of such a structured semantic representation.

研究动机与目标

• 解决对超越以物体为中心的标签、更加整体性与描述性的图像表征的需求。
• 通过利用视觉线索，实现在无需跨模态微调的情况下实现零样本图像段落描述。
• 通过闭环验证机制，提升生成描述的忠实度与连贯性。
• 对视觉线索在表征复杂视觉概念（如场景图）方面的有效性进行基准测试。
• 展示该框架在视觉-语言任务（如 VQA 和图像字幕）中的泛化能力。

提出的方法

• 利用视觉基础模型（Florence）提取开放词汇的物体标签、属性、位置信息及区域描述，构建视觉线索。
• 将这些视觉线索结构化为文本提示，并输入大语言模型（如 GPT-3）以生成全面的图像描述。
• 通过闭环验证步骤，利用视觉模型重新评估生成的描述，并选择与原始图像对齐度最高的描述。
• 使用场景图准确率作为代理指标，评估生成描述的质量，将预测的场景图与人工标注的进行比较。
• 在图像段落描述与视觉问答（VQA）任务上评估该框架，采用生成式与判别式双重评估策略。
• 应用过滤机制以减轻幻觉与属性误关联问题，但其局限性依然存在。

实验结果

研究问题

• RQ1 从视觉基础模型中提取的视觉线索是否能有效表征整体视觉内容，以支持大语言模型的生成？
• RQ2 与端到端微调模型相比，零样本、闭环框架是否能提升图像段落描述的忠实度与连贯性？
• RQ3 视觉线索在多大程度上支持准确的场景图预测，并实现跨视觉-语言任务的泛化？
• RQ4 在无微调条件下，该框架在 VQA 任务中的表现如何，特别是在常识推理与场景理解方面？
• RQ5 系统在哪些方面存在失败模式，特别是属性误关联与幻觉问题？

主要发现

• 在 GQA 数据集上，BEST 使用判别式评估方法获得 39.93% 的 VQA 准确率，显著优于 Socratic 模型（26.89%），展现出强大的零样本泛化能力。
• 在 OK-VQA 数据集上，BEST 使用生成式方法获得 28.89% 的准确率，表明其在常识推理任务中表现优异。
• 通过利用视觉线索与闭环验证机制，该框架在图像段落描述任务中创下新的 SOTA 结果，在描述质量与事实一致性方面优于先前方法。
• 使用场景图准确率作为评估指标，其与人类判断的相关性优于 BLEU 或 CIDEr 等传统指标，验证了其在评估整体性描述方面的适用性。
• 失败案例揭示了属性-物体关联方面的挑战，例如将图像中其他位置存在的属性错误地关联到某一主体上。
• 尽管性能优异，系统仍易受社会偏见与不当语言影响，凸显了在实际部署中需引入额外过滤机制的必要性。