[论文解读] Prophet: Prompting Large Language Models with Complementary Answer Heuristics for Knowledge-based Visual Question Answering

Yu Zhou, Ouyang, Xuecheng+3 more|arXiv (Cornell University)|Mar 3, 2023

Multimodal Machine Learning Applications被引用 6

一句话总结

Prophet 提出了一种新颖的提示工程框架，通过从微调后的 VQA 模型中提取并整合互补的答案启发式方法——答案候选和答案感知样本——来增强基于知识的视觉问答（VQA）性能。这些启发式方法被融入大型语言模型（LLM）的结构化提示中。通过利用这些启发式方法，Prophet 在四个基于知识的 VQA 基准测试中显著提升了答案准确率，且在与 GPT-3 结合时超越了当前最先进方法。

ABSTRACT

Knowledge-based visual question answering (VQA) requires external knowledge beyond the image to answer the question. Early studies retrieve required knowledge from explicit knowledge bases (KBs), which often introduces irrelevant information to the question, hence restricting the performance of their models. Recent works have resorted to using a powerful large language model (LLM) as an implicit knowledge engine to acquire the necessary knowledge for answering. Despite the encouraging results achieved by these methods, we argue that they have not fully activated the capacity of the \emph{blind} LLM as the provided textual input is insufficient to depict the required visual information to answer the question. In this paper, we present Prophet -- a conceptually simple, flexible, and general framework designed to prompt LLM with answer heuristics for knowledge-based VQA. Specifically, we first train a vanilla VQA model on a specific knowledge-based VQA dataset without external knowledge. After that, we extract two types of complementary answer heuristics from the VQA model: answer candidates and answer-aware examples. The two types of answer heuristics are jointly encoded into a formatted prompt to facilitate the LLM's understanding of both the image and question, thus generating a more accurate answer. By incorporating the state-of-the-art LLM GPT-3, Prophet significantly outperforms existing state-of-the-art methods on four challenging knowledge-based VQA datasets. Prophet is general that can be instantiated with the combinations of different VQA models (i.e., both discriminative and generative ones) and different LLMs (i.e., both commercial and open-source ones). Moreover, Prophet can also be integrated with modern large multimodal models in different stages, which is named Prophet++, to further improve the capabilities on knowledge-based VQA tasks.

研究动机与目标

• 解决现有基于 LLM 的 VQA 方法因缺乏视觉和任务特定上下文而无法充分激活 LLM 推理能力的局限性。
• 通过从微调后的 VQA 模型中提取任务特定启发式方法，丰富 LLM 提示，从而提升基于知识的 VQA 性能。
• 设计一种可泛化的框架，适用于多种 VQA 模型（判别式与生成式）和 LLM（商用与开源）的组合。
• 减少对显式知识库的依赖，使 LLM 能够在经过精心筛选的启发式方法引导下，有效利用隐含知识进行推理。
• 缓解基于检索的方法和仅 LLM 方法中存在的无关知识检索与答案对齐不佳的问题。

提出的方法

• 在不使用外部知识的基于知识的 VQA 数据集上训练一个基础 VQA 模型，以学习视觉-语言表示。
• 提取两类互补的答案启发式方法：(1) 从模型的 top-k 预测中提取答案候选；(2) 从高置信度预测中提取答案感知样本。
• 构建一个结构化提示，将图像字幕、问题、答案候选和答案感知样本以优化 LLM 推理的格式进行整合。
• 使用一个冻结的、强大的 LLM（如 GPT-3）基于增强后的提示生成答案，同时利用视觉和知识感知信号。
• 设计提示以支持零样本和少样本推理，从而在不同 VQA 数据集和 LLM 类型之间实现泛化。
• 通过相应调整提示结构，同时支持多选题和开放式答案格式。

Figure 2 : Our Prophet framework has two stages: answer heuristics generation and heuristics-enhanced prompting. In the answer heuristics generation stage, a vanilla VQA model trained on specific knowledge-based VQA dataset is employed to generate two types of complementary answer heuristics, i.e. ,

实验结果

研究问题

• RQ1 从微调后的 VQA 模型中提取的答案启发式方法是否能提升基于 LLM 的基于知识的 VQA 性能？
• RQ2 互补启发式方法——答案候选和答案感知样本——在视觉问答中对 LLM 推理有何影响？
• RQ3 像 Prophet 这类通用提示框架在多种基于知识的 VQA 基准测试中，能在多大程度上超越基于检索和仅 LLM 的基线方法？
• RQ4 该框架是否能在不同 VQA 模型架构（判别式 vs. 生成式）和 LLM 类型（商用 vs. 开源）之间实现泛化？

主要发现

• Prophet 在四个具有挑战性的基于知识的 VQA 基准测试（OK-VQA、A-OKVQA、ScienceQA 和 TextVQA）中实现了最先进性能，显著优于现有方法。
• 在 OK-VQA 数据集上，Prophet 在“植物与动物”类别中将准确率提升了 11.09 个百分点（从 52.58% 提升至 63.67%），且在所有类别中均保持一致的性能增益。
• 该方法将因错误知识推理导致的失败率（44.1%）和因视觉理解不足导致的失败率（27.3%）均显著降低，表明推理与感知对齐能力得到改善。
• 在“天气与气候”类别中，模型实现了 68.37% 的准确率，显示出在专业知识领域中的强大表现。
• 消融实验证实，采用重叠答案参数继承的微调策略优于标准微调策略。
• 人工评估显示，22.8% 的失败案例源于答案正确但表达方式不同，凸显了标注变异性对评估指标的影响。

Figure 3 : Discriminative vs. generative VQA models. Taking an image (V) and a question (Q) as inputs, a typical discriminative VQA model like MCAN [ 18 ] performs multi-class classification to predict the most relevant answer (may contain multiple words) from a predefined answer vocabulary, while a