[论文解读] SA-VQA: Structured Alignment of Visual and Semantic Representations for Visual Question Answering

Peixi Xiong, Quanzeng You+3 more|arXiv (Cornell University)|Jan 25, 2022

Multimodal Machine Learning Applications被引用 5

一句话总结

该论文提出SA-VQA，一种新颖的视觉问答模型，通过双Transformer架构，利用视觉与文本内容的结构化图表示，提升跨模态对齐效果。通过注意力机制整合场景图与语义节点得分，SA-VQA在GQA上无需预训练即达到最先进性能，在VQA-v2上也超越非预训练方法，同时通过注意力可视化提升答案可解释性。

ABSTRACT

Visual Question Answering (VQA) attracts much attention from both industry and academia. As a multi-modality task, it is challenging since it requires not only visual and textual understanding, but also the ability to align cross-modality representations. Previous approaches extensively employ entity-level alignments, such as the correlations between the visual regions and their semantic labels, or the interactions across question words and object features. These attempts aim to improve the cross-modality representations, while ignoring their internal relations. Instead, we propose to apply structured alignments, which work with graph representation of visual and textual content, aiming to capture the deep connections between the visual and textual modalities. Nevertheless, it is nontrivial to represent and integrate graphs for structured alignments. In this work, we attempt to solve this issue by first converting different modality entities into sequential nodes and the adjacency graph, then incorporating them for structured alignments. As demonstrated in our experimental results, such a structured alignment improves reasoning performance. In addition, our model also exhibits better interpretability for each generated answer. The proposed model, without any pretraining, outperforms the state-of-the-art methods on GQA dataset, and beats the non-pretrained state-of-the-art methods on VQA-v2 dataset.

研究动机与目标

• 通过引入基于图表示的结构化对齐，解决VQA中实体级别跨模态对齐的局限性。
• 通过建模视觉区域、文本问题与场景图实体之间的深层关联，提升VQA中的推理性能。
• 通过可视化图像区域与问题词汇之间的注意力相关性，增强模型可解释性。
• 评估语义图质量（如预测与真实标签）对VQA性能的影响，特别是在使用不完美场景图预测时。
• 证明结构化图集成优于无显式图监督的端到端注意力机制。

提出的方法

• 模型从图像区域及其前5个预测标签构建视觉图与语义图，使用预训练的SNS模型生成加权节点特征。
• 采用双Transformer编码器处理三种输入流：视觉图、语义图与问题，每种流均配有相应的邻接矩阵。
• 使用图注意力机制对齐跨模态特征，结构化表示引导注意力聚焦于相关图像区域与问题词汇。
• 通过共享注意力机制融合多模态特征，利用图拓扑结构提升跨模态推理能力。
• 使用SuperNodes表示对象候选，其特征按SNS置信度加权，以降低低精度预测带来的噪声。
• 该框架避免预训练，转而依赖图引导注意力从有限数据中学习有效表征。

实验结果

研究问题

• RQ1 结构化图表示是否能在VQA中超越实体级别注意力，实现更优的跨模态对齐？
• RQ2 集成场景图如何影响VQA中的推理性能与模型可解释性？
• RQ3 语义图质量（如预测标签与真实标签）是否影响最终的VQA准确率？
• RQ4 统一的Transformer架构能否有效处理多条图流而不导致性能下降？
• RQ5 对前5个对象候选进行加权集成是否比单标签或均匀平均更有效？

主要发现

• SA-VQA在VQA-v2数据集上超越非预训练的最先进方法，展现出强大的零样本泛化能力。
• 在GQA数据集上，SA-VQA实现最先进性能，且无需任何预训练，超越依赖大规模预训练的模型。
• 消融实验表明，移除邻接矩阵或引导图会降低性能，证实结构化表示的重要性。
• 使用SNS得分加权的前5个对象特征（即加权多标签输入）优于均匀平均或单标签输入，表明降噪策略有效。
• SA-VQA的性能与底层语义节点评分（SNS）模型的准确性正相关，证实更优的图结构带来更优结果。
• 定性注意力图显示，模型能有效将相关问题词汇与对应图像区域对齐，显著提升可解释性。