[论文解读] Visual Question Answering: A Survey of Methods and Datasets

Qi Wu, Damien Teney+4 more|arXiv (Cornell University)|Jul 20, 2016

Multimodal Machine Learning Applications参考文献 101被引用 44

一句话总结

本综述全面概述了视觉问答（VQA）任务，回顾了利用深度学习（特别是卷积神经网络和循环神经网络）将图像和问题映射到共享特征空间的最先进方法。它评估了主要数据集，分析了结构化场景注释和外部知识库的作用，并指出了未来研究方向，重点在于整合外部知识并利用先进的自然语言处理技术以提升VQA中的推理能力。

ABSTRACT

Visual Question Answering (VQA) is a challenging task that has received increasing attention from both the computer vision and the natural language processing communities. Given an image and a question in natural language, it requires reasoning over visual elements of the image and general knowledge to infer the correct answer. In the first part of this survey, we examine the state of the art by comparing modern approaches to the problem. We classify methods by their mechanism to connect the visual and textual modalities. In particular, we examine the common approach of combining convolutional and recurrent neural networks to map images and questions to a common feature space. We also discuss memory-augmented and modular architectures that interface with structured knowledge bases. In the second part of this survey, we review the datasets available for training and evaluating VQA systems. The various datatsets contain questions at different levels of complexity, which require different capabilities and types of reasoning. We examine in depth the question/answer pairs from the Visual Genome project, and evaluate the relevance of the structured annotations of images with scene graphs for VQA. Finally, we discuss promising future directions for the field, in particular the connection to structured knowledge bases and the use of natural language processing models.

研究动机与目标

• 系统性回顾当前VQA方法及其融合视觉与文本模态的底层机制。
• 分析现有VQA数据集的多样性与复杂性，包括自然图像、剪贴画以及知识增强型数据集。
• 评估结构化场景注释（如Visual Genome中的注释）在提升VQA性能方面的作用。
• 识别VQA中的关键挑战，特别是对视觉内容之外的外部知识和推理能力的需求。
• 提出未来研究方向，包括外部知识库的可扩展集成以及在VQA系统中更有效地利用自然语言处理工具。

提出的方法

• 将VQA方法分类为联合嵌入方法，即利用CNN和RNN将图像和问题映射到共享向量空间。
• 回顾注意力机制，使模型能够根据问题内容聚焦于图像的相关区域。
• 研究模块化架构（如神经模块网络和动态记忆网络），将问题分解为可执行的子任务。
• 分析记忆增强型网络，通过存储和检索外部知识来回答复杂问题。
• 研究与结构化知识库交互的模型，以获取图像之外的事实性或常识性知识。
• 评估Visual Genome提供的场景图注释对VQA性能和推理能力的影响。

实验结果

研究问题

• RQ1 在对视觉和文本输入进行推理方面，不同架构（联合嵌入、注意力、模块化和记忆增强型）的表现如何比较？
• RQ2 结构化场景注释和知识库增强在多大程度上提升了VQA性能和推理准确性？
• RQ3 当前VQA数据集在支持需要外部知识的复杂推理方面存在哪些局限性？
• RQ4 如何将自然语言处理技术（如预训练语言模型和句法解析）集成到VQA系统中以提升问题理解能力？
• RQ5 可扩展的外部知识库在推动VQA超越视觉感知、实现常识性和事实性推理方面将发挥何种作用？

主要发现

• 使用CNN和RNN的联合嵌入方法仍是VQA中的主流方法，能有效在共享空间中对齐视觉与文本表示。
• 注意力机制通过使模型聚焦于与问题相关的图像区域，显著提升了性能。
• 模块化和记忆增强型架构在处理组合性及推理密集型问题方面展现出潜力，但目前采用率较低。
• 知识库增强型数据集在规模上仍有限，但已显示出在需要外部事实的问题上提升推理能力的潜力。
• Visual Genome提供的结构化场景注释为VQA提供了有价值的归纳偏置，显著提升了关系和属性相关问题的性能。
• 未来VQA的进展很可能依赖于更优的外部知识集成以及先进自然语言处理技术（如预训练语言模型和句法解析）的结合，以增强问题理解与答案生成能力。