[论文解读] NLX-GPT: A Model for Natural Language Explanations in Vision and Vision-Language Tasks

Fawaz Sammani, Tanmoy Mukherjee+1 more|arXiv (Cornell University)|Mar 9, 2022

Multimodal Machine Learning Applications被引用 4

一句话总结

NLX-GPT 提出了一种统一且紧凑的语言模型，通过将答案预测建模为文本生成任务，联合预测答案并生成视觉与视觉-语言任务中的自然语言解释。该方法消除了对独立任务模型的需求，在 VQA-X、ACT-X 和 e-SNLI-VE 上实现了最先进性能，推理速度提升 15 倍，内存占用减少，同时引入了两种新的无需人工标注的解释质量自评估框架。

ABSTRACT

Natural language explanation (NLE) models aim at explaining the decision-making process of a black box system via generating natural language sentences which are human-friendly, high-level and fine-grained. Current NLE models explain the decision-making process of a vision or vision-language model (a.k.a., task model), e.g., a VQA model, via a language model (a.k.a., explanation model), e.g., GPT. Other than the additional memory resources and inference time required by the task model, the task and explanation models are completely independent, which disassociates the explanation from the reasoning process made to predict the answer. We introduce NLX-GPT, a general, compact and faithful language model that can simultaneously predict an answer and explain it. We first conduct pre-training on large scale data of image-caption pairs for general understanding of images, and then formulate the answer as a text prediction task along with the explanation. Without region proposals nor a task model, our resulting overall framework attains better evaluation scores, contains much less parameters and is 15$ imes$ faster than the current SoA model. We then address the problem of evaluating the explanations which can be in many times generic, data-biased and can come in several forms. We therefore design 2 new evaluation measures: (1) explain-predict and (2) retrieval-based attack, a self-evaluation framework that requires no labels. Code is at: https://github.com/fawazsammani/nlxgpt.

研究动机与目标

• 为解决现有 NLE 模型中推理与解释之间脱节的问题，这些模型依赖于独立的任务模型与解释模型。
• 通过消除对专用视觉-语言任务模型的需求，降低内存与推理开销。
• 通过联合训练答案生成与解释生成，提升解释的忠实度与连贯性。
• 开发无需标签的评估框架，无需人工标注的解释即可评估解释的正确性、推理能力与偏见。
• 证明单一紧凑模型可在速度与性能上超越多阶段最先进方法。

提出的方法

• 使用语言模型将答案预测与解释生成统一为单一文本生成任务。
• 在大规模图像-字幕配对数据上预训练模型，以学习通用的视觉与语言理解能力。
• 使用视觉编码器（如 CLIP ViT）编码图像，并将编码后的视觉特征作为语言模型的条件输入。
• 通过交叉注意力机制端到端训练，实现视觉特征与答案及解释标记之间的对齐。
• 引入两种自评估框架：(1) explain-predict，通过答案预测性能衡量解释质量；(2) 基于检索的攻击，通过与真实解释的相似度评估解释的忠实度。
• 使用统一损失函数，结合交叉熵损失用于答案与解释生成，实现联合优化。

Figure 1 : A comparison between previous models (left) and ours (right). Our model solely requires a visual encoder and a language model. We model the answer as a text prediction task along with the explanation. Best viewed in color.

实验结果

研究问题

• RQ1 单一紧凑语言模型是否能在不依赖独立任务模型的前提下，联合生成准确答案与忠实的自然语言解释？
• RQ2 与解耦方法相比，答案与解释生成的联合训练在提升忠实度与推理连贯性方面效果如何？
• RQ3 explain-predict 与基于检索的攻击等自评估框架是否能有效衡量解释质量而无需人工标注？
• RQ4 在图像-字幕数据上进行预训练在多大程度上提升了下游 NLE 任务的性能？
• RQ5 不同视觉编码器（如 ViT、ResNet、DeiT）对统一的 NLX-GPT 框架性能有何影响？

主要发现

• NLX-GPT 在 VQA-X、ACT-X 和 e-SNLI-VE 基准测试中达到最先进性能，在多数指标上超越先前最先进模型。
• 与依赖独立任务与解释模型的现有多阶段 NLE 模型相比，该模型推理速度提升 15 倍，内存占用显著降低。
• 在图像-字幕对上进行预训练显著提升了性能，其中 CLIP 视觉变压器在所有任务中表现最佳。
• explain-predict 评估框架表明，高质量解释能带来更好的答案预测性能，验证了模型内部的一致性。
• 基于检索的攻击框架表明，NLX-GPT 生成的解释具有更低的内部距离得分，表明其忠实度更高且偏见更少。
• 消融实验证实，预训练与视觉编码器的选择显著影响最终性能，其中 CLIP ViT 表现优于 ResNet-101 与自下而上的特征。

Figure 2 : A schema of the proposed NLX-GPT model. At test time, we supply the question and ¡bos¿ token, and start generating the answer and explanation