[论文解读] Multimodal Unified Attention Networks for Vision-and-Language Interactions

Yu Zhou, Yuhao Cui+3 more|arXiv (Cornell University)|Aug 12, 2019

Multimodal Machine Learning Applications参考文献 69被引用 33

一句话总结

MUAN 引入一个统一注意力块，联合建模模态内和模态间的交互，将它们堆叠成 MUAN，在 VQA 和视觉定位任务上无需任务特定微调即可取得强性能。

ABSTRACT

Learning an effective attention mechanism for multimodal data is important in many vision-and-language tasks that require a synergic understanding of both the visual and textual contents. Existing state-of-the-art approaches use co-attention models to associate each visual object (e.g., image region) with each textual object (e.g., query word). Despite the success of these co-attention models, they only model inter-modal interactions while neglecting intra-modal interactions. Here we propose a general `unified attention' model that simultaneously captures the intra- and inter-modal interactions of multimodal features and outputs their corresponding attended representations. By stacking such unified attention blocks in depth, we obtain the deep Multimodal Unified Attention Network (MUAN), which can seamlessly be applied to the visual question answering (VQA) and visual grounding tasks. We evaluate our MUAN models on two VQA datasets and three visual grounding datasets, and the results show that MUAN achieves top-level performance on both tasks without bells and whistles.

研究动机与目标

• 激发并开发一个注意力机制，在多模态数据中捕获模态内和模态间的交互。
• 提出一个统一注意力 (UA) 块，通过门控将自注意力扩展为对特征进行重新加权。
• 堆叠 UA 块，形成可应用于 VQA 和视觉定位的深层 MUAN 架构。
• 在多个 VQA 和视觉定位基准上展示最先进或有竞争力的结果。

提出的方法

• 引入 Gated Self-Attention (GSA) 作为基本单元，使用基于双线性池化的门控在注意力之前对 Q 和 K 重新加权。
• 在同一框架内定义一个 Unified Attention (UA) 块，联合建模模态内 (VV, TT) 和模态间 (VT, TV) 的交互。
• 堆叠多个 UA 块形成 MUAN-L，用于深度多模态推理，实现端到端训练。
• 对于 VQA，在问题后添加一个 [ans] 标记，并从其注意后的特征中预测答案。
• 对于视觉定位，通过多任务损失（排序和回归）预测区域得分并细化边界框。
• 使用 Adam 进行训练；使用预提取的图像和问题表示（文本采用 GloVe+LSTM；图像采用 CNN/目标检测特征）。

实验结果

研究问题

• RQ1 在与模态间相互作用共同建模时，模态内的交互（同一模态内）是否能够提升多模态推理？
• RQ2 统一注意力机制在 VQA 和视觉定位任务中是否优于先进行自注意力再进行协注意力的做法？
• RQ3 统一注意力中的门控对性能和鲁棒性的影响是什么？
• RQ4 MUAN 在标准 VQA 和视觉定位基准上的表现如何与最先进方法相比？

主要发现

• MUAN 在多个基线中提升 VQA 的性能，在 VQA-v2 使用 bottom-up 特征时达到 70.82% 的 test-dev 准确率和 86.77% 的 test-std 总体准确率。
• MUAN 在 VQA-v2 上超过了先前的方法，例如 BAN、BAN+Counter、DFAF 和 MCAN，在给出的比较中，在使用标准特征的 test-std 中获得单模型方法的最高性能。
• 在 CLEVR 上，MUAN 达到 98.7% 的准确率，接近人类水平并超越若干先前方法。
• 消融实验表明自注意力和协注意力都对 MUAN 有贡献，协注意力在浅层模型中尤为显著；门控在各种配置中都带来可衡量的改进。
• 更深的 MUAN（更大的 L）通常会提高准确性，直到在大约 L=10 的饱和点为止，表明更深的统一推理在数据集依赖的限制下具有收益。