[论文解读] Visual Question Answering using Deep Learning: A Survey and Performance Analysis

Yash Srivastava, Vaishnav Murali+2 more|arXiv (Cornell University)|Aug 27, 2019

Multimodal Machine Learning Applications被引用 5

一句话总结

本综述全面概述了基于深度学习的视觉问答（VQA）技术，分析了关键数据集、最先进模型（如堆叠注意力网络和2017年VQA竞赛冠军模型），并在VQA与Visual7W数据集上呈现了实证结果。Teney等人提出的模型在VQA数据集上取得了最高的准确率（67.23%），证明了注意力机制与跨模态特征融合在VQA系统中的有效性。

ABSTRACT

The Visual Question Answering (VQA) task combines challenges for processing data with both Visual and Linguistic processing, to answer basic `common sense' questions about given images. Given an image and a question in natural language, the VQA system tries to find the correct answer to it using visual elements of the image and inference gathered from textual questions. In this survey, we cover and discuss the recent datasets released in the VQA domain dealing with various types of question-formats and robustness of the machine-learning models. Next, we discuss about new deep learning models that have shown promising results over the VQA datasets. At the end, we present and discuss some of the results computed by us over the vanilla VQA model, Stacked Attention Network and the VQA Challenge 2017 winner model. We also provide the detailed analysis along with the challenges and future research directions.

研究动机与目标

• 系统性回顾近期VQA数据集（包括VQA、Visual7W、Tally-QA和KVQA），评估其多样性与鲁棒性。
• 分析VQA任务中前沿深度学习架构，重点关注注意力机制、多模态融合与知识融合。
• 在标准基准数据集上评估并比较三种关键模型——Vanilla VQA、堆叠注意力网络（Stacked Attention Networks）与Teney等人（2017年VQA竞赛冠军）——的性能。
• 识别VQA中持续存在的挑战，如常识推理、训练数据中的偏差，以及在视觉与语言变体下的泛化能力。
• 提出未来研究方向，包括改进特征表示、关系推理，以及整合外部知识源。

提出的方法

• 本文调查了主要的VQA数据集，包括其问题类型、图像来源与标注策略，以评估其在稳健模型训练与评估中的适用性。
• 综述了如Vanilla VQA（CNN + LSTM）、堆叠注意力网络（SAN）以及2017年VQA竞赛冠军模型（Teney等人）等深度学习架构，强调注意力机制与多模态融合的重要性。
• 作者在VQA与Visual7W数据集上实现了并评估了三种模型——Vanilla VQA、SAN与Teney等人——采用交叉熵损失与Adam优化器，在100个周期内进行训练。
• 模型采用VGG16进行图像特征提取，LSTM用于问题编码，注意力模块用于对齐视觉与文本特征，实现端到端训练。
• 性能通过开放式问答任务的top-1准确率进行衡量，结果报告于标准与近期基准数据集上。
• 分析包括消融实验比较，以评估多跳注意力、特征门控与残差连接等架构创新的影响。

实验结果

研究问题

• RQ1 不同VQA数据集在问题复杂度、图像多样性与标注质量方面有何差异？这些差异对模型泛化能力有何影响？
• RQ2 现代VQA模型中的关键架构创新是什么？这些创新如何使性能优于早期方法（如Vanilla VQA）？
• RQ3 注意力机制与多模态融合策略如何增强模型同时理解视觉与语言输入的能力？
• RQ4 近期模型（如Teney等人与Pythia v1.0）在准确率与跨多样化VQA基准的鲁棒性方面，相较于早期模型提升了多少？
• RQ5 VQA性能中持续存在的局限性是什么？为实现视觉问答中的人类级推理，需要哪些新的研究方向？

主要发现

• Teney等人提出的模型在VQA数据集上取得了最高的准确率（67.23%），在Visual7W数据集上达到65.82%，显著优于Vanilla VQA与堆叠注意力网络模型。
• 堆叠注意力网络在性能上优于Vanilla VQA模型，在VQA数据集上达到60.49%的准确率，在Visual7W数据集上达到61.67%，表明分层注意力机制具有显著优势。
• Vanilla VQA模型在VQA数据集上取得58.11%的准确率，在Visual7W数据集上为56.93%，证实其尽管结构简单，但作为强基线模型依然有效。
• CLEVR数据集实现了高达93%的准确率，凸显了合成关系丰富问题在减少歧义与提升模型性能方面的优势。
• Tally-QA与KVQA数据集展现出强劲的性能潜力，准确率分别为71.8%与59.2%，表明其在处理计数与知识驱动型复杂推理问题方面已取得进展。
• 尽管技术不断进步，最佳性能模型的准确率仍仅在60%至70%之间，表明VQA仍是极具挑战性的开放性问题，亟需在推理与泛化能力方面实现进一步创新。