[论文解读] Rethinking Multi-Modal Alignment in Video Question Answering from Feature and Sample Perspectives

Shaoning Xiao, Long Chen+5 more|arXiv (Cornell University)|Apr 25, 2022

Multimodal Machine Learning Applications被引用 5

一句话总结

本文提出了一种新颖的方法，通过利用视频轨迹特征和样本级数据增强，在视频问答（VideoQA）中实现多模态对齐。该方法引入了一种基于多头自注意力机制的轨迹编码器以及异质图架构，以对齐轨迹级和帧级视觉特征与语言特征，同时通过使用负向答案和跨视频问答对增强来强化跨模态对应关系。该方法在NExT-QA基准上实现了最先进性能，优于所有先前模型。

ABSTRACT

Reasoning about causal and temporal event relations in videos is a new destination of Video Question Answering (VideoQA).The major stumbling block to achieve this purpose is the semantic gap between language and video since they are at different levels of abstraction. Existing efforts mainly focus on designing sophisticated architectures while utilizing frame- or object-level visual representations. In this paper, we reconsider the multi-modal alignment problem in VideoQA from feature and sample perspectives to achieve better performance. From the view of feature,we break down the video into trajectories and first leverage trajectory feature in VideoQA to enhance the alignment between two modalities. Moreover, we adopt a heterogeneous graph architecture and design a hierarchical framework to align both trajectory-level and frame-level visual feature with language feature. In addition, we found that VideoQA models are largely dependent on language priors and always neglect visual-language interactions. Thus, two effective yet portable training augmentation strategies are designed to strengthen the cross-modal correspondence ability of our model from the view of sample. Extensive results show that our method outperforms all the state-of-the-art models on the challenging NExT-QA benchmark, which demonstrates the effectiveness of the proposed method.

研究动机与目标

• 通过从特征和样本两个角度改进多模态对齐，以弥合视频问答中语言与视频之间的语义鸿沟。
• 克服基于目标的表征在捕捉视频中时间与因果关系方面的局限性。
• 通过引入稳健的训练数据增强策略，减少模型对语言先验的依赖。
• 通过轨迹级视觉表征和基于图的推理增强跨模态对应关系。

提出的方法

• 该方法首先使用预训练的目标检测器和改进的序列NMS进行时空跟踪，以提取视频轨迹。
• 基于多头自注意力机制并引入时间与语义嵌入的轨迹编码器，用于建模轨迹中的长距离依赖关系。
• 循环注意力模块用于对齐轨迹级和帧级视觉特征与语言特征。
• 设计了一种异质图网络，用于建模多样化视觉与语言元素之间的隐式关系。
• 引入了两种样本级增强策略：(1) 在匹配过程中采样负向答案；(2) 使用其他视频中的负向问题-答案对。
• 模型在多选NExT-QA基准上端到端训练，同时使用GloVe和微调后的BERT嵌入。

实验结果

研究问题

• RQ1 与帧级或目标级特征相比，轨迹级视觉表征在VideoQA中如何提升多模态对齐？
• RQ2 基于图的架构在视频理解中对异质视觉与语言特征的推理能力有多大的增强作用？
• RQ3 样本级数据增强策略是否能减少模型对语言先验的依赖并改善跨模态对应关系？
• RQ4 轨迹质量与增强设计如何共同影响VideoQA中因果与时间推理的性能？

主要发现

• 所提方法在具有挑战性的NExT-QA基准上实现了最先进性能，优于所有现有模型。
• 同时使用负向答案采样和跨视频问答对增强显著提升了准确率，尤其在使用GloVe嵌入时效果更明显。
• 对于BERT-FT，第二种增强策略（qa-）——即使用其他视频中的负向QA对——显著提升了性能，尽管句子级嵌入存在局限性。
• 负样本数量在15个以内时呈正向影响，超过后性能趋于平稳。
• 消融实验表明，若移除轨迹编码器或图组件，性能显著下降，证实了其重要性。
• 基于多头自注意力的轨迹编码器在大多数情况下优于GRU，尤其在时间相关问题上表现更优，证明其在建模全局交互方面的有效性。