[论文解读] Revisiting Visual Question Answering Baselines

Allan Jabri, Armand Joulin+1 more|arXiv (Cornell University)|Jun 27, 2016

Multimodal Machine Learning Applications参考文献 25被引用 32

一句话总结

该论文提出了一种用于多项选择视觉问答（VQA）的简单二分类模型，该模型预测给定的图像-问题-答案三元组是否正确，而非在多个答案选项中进行分类。尽管模型结构简单，但在Visual7W Telling任务上仍取得了SOTA性能（微调后准确率为68.5%），并在VQA Real Multiple Choice上与复杂模型表现相当，表明当前VQA系统可能更多依赖数据集偏差而非真正的推理能力。

ABSTRACT

Visual question answering (VQA) is an interesting learning setting for evaluating the abilities and shortcomings of current systems for image understanding. Many of the recently proposed VQA systems include attention or memory mechanisms designed to support "reasoning". For multiple-choice VQA, nearly all of these systems train a multi-class classifier on image and question features to predict an answer. This paper questions the value of these common practices and develops a simple alternative model based on binary classification. Instead of treating answers as competing choices, our model receives the answer as input and predicts whether or not an image-question-answer triplet is correct. We evaluate our model on the Visual7W Telling and the VQA Real Multiple Choice tasks, and find that even simple versions of our model perform competitively. Our best model achieves state-of-the-art performance on the Visual7W Telling task and compares surprisingly well with the most complex systems proposed for the VQA Real Multiple Choice task. We explore variants of the model and study its transferability between both datasets. We also present an error analysis of our model that suggests a key problem of current VQA systems lies in the lack of visual grounding of concepts that occur in the questions and answers. Overall, our results suggest that the performance of current VQA systems is not significantly better than that of systems designed to exploit dataset biases.

研究动机与目标

• 挑战复杂注意力与记忆机制对强VQA性能必不可少的假设。
• 探究仅利用数据集偏差的简单模型是否能超越基于推理的SOTA VQA系统。
• 评估统一模型在不同VQA数据集（特别是Visual7W和VQA Real Multiple Choice）之间的可迁移性。
• 分析当前VQA系统在问题与答案中提及的概念的视觉定位方面的局限性。
• 提出一种比现有方法更简单且更有效的基线模型，凸显数据集偏差在性能提升中的作用。

提出的方法

• 该模型将VQA视为二分类任务：给定一张图像、一个问题和一个候选答案，预测该三元组是否正确。
• 使用预训练CNN（如ResNet）的深度特征表示图像，答案通过学习得到的嵌入表示，问题则通过固定词嵌入编码。
• 模型通过多层感知机（MLP）将图像和答案特征进行融合，以预测三元组的正确性。
• 采用端到端训练，使用二元交叉熵损失在训练三元组上进行优化，无需对多个选项中的答案进行分类。
• 通过在VQA数据集上初始化模型并在Visual7W上进行微调，实现迁移学习以提升性能。
• 在Visual7W Telling和VQA Real Multiple Choice上进行评估，并对特征类型、网络深度及缺失输入组件进行消融实验。

实验结果

研究问题

• RQ1 简单的二分类模型能否超越使用注意力和记忆机制的复杂VQA系统？
• RQ2 当前VQA系统在多大程度上依赖数据集偏差而非真正的视觉-语言推理？
• RQ3 单一模型在不同VQA数据集（如Visual7W和VQA Real Multiple Choice）之间的迁移能力如何？
• RQ4 哪些类型的问题（如空间类、动作类、因果类）能揭示所提模型的优势与劣势？
• RQ5 为何一些看似更具视觉定位能力的模型在定量指标上表现更差，这对评估指标意味着什么？

主要发现

• 所提出的二分类模型在微调VQA数据集后，在Visual7W Telling任务上实现了SOTA准确率68.5%，优于先前方法。
• 在VQA Real Multiple Choice基准上，尽管缺乏注意力或LSTM组件，该模型仍取得了具有竞争力的性能，超越了多个复杂模型。
• 该模型在动作相关问题上表现尤为出色（准确率77%），表明其有效利用了视觉特征进行动作识别。
• 对于因果类问题（如“为什么地面是白色的？”），模型准确率达68%，而纯文本基线模型准确率为64%，表明此类问题大多依赖文本常识。
• 在空间推理类问题上，模型性能显著下降（准确率55%），表明其在缺乏显式定位的情况下难以推理空间关系。
• 错误分析显示，主要失败模式是问题与答案中概念的视觉定位不佳，凸显了当前VQA系统的关键局限性。