[论文解读] Question Type Guided Attention in Visual Question Answering

Yang Shi, Tommaso Furlanello+2 more|arXiv (Cornell University)|Apr 6, 2018

Multimodal Machine Learning Applications参考文献 31被引用 8

一句话总结

本文提出问题类型引导注意力（QTA），一种新颖的注意力机制，可根据问题类型动态平衡视觉问答（VQA）中的自底向上（Faster R-CNN）与自顶向下（ResNet）视觉特征。QTA在关键问题类型如'Activity Recognition'和'Counting'上性能提升超过5%，并在MCB模型上实现3%的准确率增益，其多任务扩展可实现无需真实问题类型的零样本推理。

ABSTRACT

Visual Question Answering (VQA) requires integration of feature maps with drastically different structures and focus of the correct regions. Image descriptors have structures at multiple spatial scales, while lexical inputs inherently follow a temporal sequence and naturally cluster into semantically different question types. A lot of previous works use complex models to extract feature representations but neglect to use high-level information summary such as question types in learning. In this work, we propose Question Type-guided Attention (QTA). It utilizes the information of question type to dynamically balance between bottom-up and top-down visual features, respectively extracted from ResNet and Faster R-CNN networks. We experiment with multiple VQA architectures with extensive input ablation studies over the TDIUC dataset and show that QTA systematically improves the performance by more than 5% across multiple question type categories such as "Activity Recognition", "Utility" and "Counting" on TDIUC dataset. By adding QTA on the state-of-art model MCB, we achieve 3% improvement for overall accuracy. Finally, we propose a multi-task extension to predict question types which generalizes QTA to applications that lack of question type, with minimal performance loss.

研究动机与目标

• 解决视觉问答模型中对高层语义信息——特别是问题类型——的利用不足问题。
• 通过基于问题类型的动态加权，改善自底向上与自顶向下视觉特征的多模态特征融合。
• 在推理阶段问题类型标注不可用的情况下，实现有效的VQA。
• 分析TDIUC数据集中存在的偏差，特别是针对'Absurd'类问题。

提出的方法

• QTA利用问题类型嵌入来控制来自ResNet（自顶向下）和Faster R-CNN（自底向上）的视觉特征融合。
• 为每种问题类型计算可学习的注意力门控，调节每种视觉特征流的贡献。
• 模型通过带有多任务头的端到端训练，联合从问题嵌入中预测问题类型。
• 多任务头使模型能够在推理阶段预测问题类型，从而实现无需真实标签的泛化。
• 在TDIUC数据集上进行评估，并对12类问题类型进行广泛的消融实验。
• 消融实验分离了问题类型引导对不同问题类型性能影响的贡献。

实验结果

研究问题

• RQ1 问题类型信息能否提升VQA模型中视觉特征选择与融合的效果？
• RQ2 基于问题类型动态路由视觉特征，对不同问题类别性能的影响如何？
• RQ3 多任务学习设置在训练期间预测问题类型，能在多大程度上实现无需真实标签的推理？
• RQ4 存在偏差的问题类型（如'Absurd'）是否对模型泛化产生负面影响，QTA能否缓解此问题？
• RQ5 QTA对整体及各类问题的VQA准确率的定量影响是什么？

主要发现

• 在TDIUC数据集上，QTA在多个问题类型（包括'Activity Recognition'、'Utility'和'Counting'）上性能提升超过5%。
• 当应用于最先进的MCB模型时，QTA使整体准确率提升3%。
• 多任务扩展在训练期间对问题类型的预测准确率超过95%，同时保持与原始VQA性能几乎相同的水平。
• 在训练中排除'Absurd'类问题后，简单准确率相比基线提升17%，而QTA进一步增强了这一增益。
• 当通过多任务学习预测问题类型时，混淆矩阵显示各类准确率极高（例如'Scene Recognition'类达99.5%）。
• 当推理阶段隐藏问题类型时，模型实现66.88%的每类准确率调和平均值（MPT）和80.95%的简单准确率，表明其具备强大的泛化能力。