[论文解读] VQA: Visual Question Answering

Aishwarya Agrawal, Jiasen Lu+5 more|arXiv (Cornell University)|May 3, 2015

Multimodal Machine Learning Applications参考文献 41被引用 1,094

一句话总结

本文提出了视觉问答（VQA）任务，该任务要求模型通过多模态理解来回答关于图像的开放式自然语言问题。论文构建了一个大规模数据集，包含约250,000张图像、约760,000个问题和约1000万个答案，支持对融合视觉、语言和推理能力的模型进行自动评估与基准测试，当前最先进方法相比基线模型取得了显著性能提升。

ABSTRACT

We propose the task of free-form and open-ended Visual Question Answering (VQA). Given an image and a natural language question about the image, the task is to provide an accurate natural language answer. Mirroring real-world scenarios, such as helping the visually impaired, both the questions and answers are open-ended. Visual questions selectively target different areas of an image, including background details and underlying context. As a result, a system that succeeds at VQA typically needs a more detailed understanding of the image and complex reasoning than a system producing generic image captions. Moreover, VQA is amenable to automatic evaluation, since many open-ended answers contain only a few words or a closed set of answers that can be provided in a multiple-choice format. We provide a dataset containing ~0.25M images, ~0.76M questions, and ~10M answers (www.visualqa.org), and discuss the information it provides. Numerous baselines and methods for VQA are provided and compared with human performance. Our VQA demo is available on CloudCV (http://cloudcv.org/vqa).

研究动机与目标

• 提出视觉问答（VQA）作为多模态人工智能的新基准任务，该任务要求同时具备视觉理解与语言推理能力。
• 构建一个规模庞大、多样化的数据集，包含约250,000张图像、约760,000个问题和约1000万个答案，以支持多模态理解研究。
• 通过开放式回答与多选题答案格式，实现VQA模型的自动、定量评估。
• 建立一个统一任务基础，用于评估整合计算机视觉、自然语言处理与知识推理能力的模型。
• 通过提供一个既易于理解又具挑战性的任务，推动人工智能发展，并为性能提升提供清晰的追踪路径。

提出的方法

• VQA任务被定义为：针对给定图像生成自由形式的自然语言答案，要求整合视觉与语言理解能力。
• 利用MS COCO图像和一个新构建的抽象场景数据集构建大规模数据集，每张图像通过Amazon Mechanical Turk收集三个问题。
• 每个问题由十名人类标注者回答，确保评估所用真实答案的多样性与可靠性。
• 该数据集支持两种评估格式：开放式（自由形式答案）与多选题（从预定义选项中选择），从而支持生成式与分类式评估。
• 基线模型采用最先进的视觉特征（如来自深度卷积网络的特征）结合循环神经网络进行问题编码与答案生成。
• 组织年度竞赛与研讨会，以追踪进展并推动VQA研究的创新。

实验结果

研究问题

• RQ1 回答关于图像的开放式问题需要哪些视觉与语言推理能力？这些能力在不同问题类别中如何变化？
• RQ2 当前模型在VQA任务上的表现与人类表现相比如何？其主要失败模式是什么？
• RQ3 视觉特征质量与语言建模能力在多大程度上影响VQA性能？
• RQ4 常识与世界知识的引入在多大程度上提升VQA中的答案准确率？
• RQ5 自动评估指标能否可靠地追踪VQA进展，特别是针对开放式答案？

主要发现

• VQA数据集包含约250,000张图像、760,000个问题和1000万个答案，是目前最大型且最多样化的多模态理解基准之一。
• 数据集包含来自MS COCO的真实世界图像，以及专为隔离高层推理与视觉复杂性而设计的抽象场景。
• 采用深度视觉特征与循环语言模型的多种基线模型表现出可测量的性能，但与人类表现相比仍存在显著差距。
• 该任务适合自动评估，尤其在多选题格式下表现良好，支持可靠且可扩展的基准测试。
• 问题与答案的多样性超过图像字幕，表明VQA能够捕捉更广泛的视觉与语言理解能力。
• VQA计划包括年度竞赛与研讨会，旨在推动多模态人工智能研究的社区级进展与标准化。