[论文解读] Video as Conditional Graph Hierarchy for Multi-Granular Question Answering

Junbin Xiao, Angela Yao+4 more|arXiv (Cornell University)|Dec 12, 2021

Multimodal Machine Learning Applications被引用 16

一句话总结

本文提出了一种条件图层次结构，用于将视频建模为多层次视觉事实——对象、动作、活动和事件——并以语言查询为条件进行分层组织。通过在不同层次间使用查询感知图注意力机制，该方法在多个VideoQA基准上实现了最先进性能，同时提升了可解释性，并在不同类型的提问中表现出更强的泛化能力。

ABSTRACT

Video question answering requires the models to understand and reason about both the complex video and language data to correctly derive the answers. Existing efforts have been focused on designing sophisticated cross-modal interactions to fuse the information from two modalities, while encoding the video and question holistically as frame and word sequences. Despite their success, these methods are essentially revolving around the sequential nature of video- and question-contents, providing little insight to the problem of question-answering and lacking interpretability as well. In this work, we argue that while video is presented in frame sequence, the visual elements (e.g., objects, actions, activities and events) are not sequential but rather hierarchical in semantic space. To align with the multi-granular essence of linguistic concepts in language queries, we propose to model video as a conditional graph hierarchy which weaves together visual facts of different granularity in a level-wise manner, with the guidance of corresponding textual cues. Despite the simplicity, our extensive experiments demonstrate the superiority of such conditional hierarchical graph architecture, with clear performance improvements over prior methods and also better generalization across different type of questions. Further analyses also demonstrate the model's reliability as it shows meaningful visual-textual evidences for the predicted answers.

研究动机与目标

• 解决视频问答中顺序建模的局限性，后者无法捕捉分层视觉结构和多粒度语言概念。
• 通过将视频建模为视觉元素的结构化层次，克服现有模型可解释性不足和推理效果不佳的问题。
• 通过在不同层次（对象、动作、活动和事件）上对齐文本查询与对应视觉事实，实现多粒度推理。
• 通过在分层级别间引入查询条件化图注意力，提升模型的泛化能力和可靠性。
• 通过基于注意力的特征定位和关系学习，为预测提供有意义的视觉-文本证据。

提出的方法

• 将视频建模为分层图结构，其中节点代表不同粒度的视觉事实：对象（G_O）、帧（G_F）、动作（G_A）和全局事件（G_C）。
• 通过在每一层注入文本查询线索，构建条件图层次结构，以引导注意力和特征聚合。
• 使用可重用的查询条件化图注意力（QGA）单元计算节点级别的注意力权重，实现在每个粒度层级上的跨模态对齐。
• 在不同层级间应用图池化与聚合，从低层级事实逐步构建高层级表示，整个过程由查询引导。
• 通过注意力机制学习稀疏邻接矩阵，过滤无关视觉关系，聚焦于与查询相关的交互。
• 利用基于BERT的上下文文本编码，更好地消歧多粒度语言概念（例如，'滑冰者'与'男性/女性滑冰者'的区别）。

实验结果

研究问题

• RQ1 将视频建模为条件图层次结构是否能提升多粒度视频问答中的推理性能？
• RQ2 与顺序建模相比，分层、查询条件化的图聚合在捕捉视觉与语言复杂性方面表现如何？
• RQ3 该模型在多样化问题类型（如'什么'、'谁'、'何时'、'如何'）上的泛化能力如何？
• RQ4 该模型能否为预测提供可解释的、定位准确的视觉-文本证据？
• RQ5 各个组件（如图层次结构、多层级条件化、BERT编码）对整体性能的贡献程度如何？

主要发现

• 所提模型在四个VideoQA数据集上均达到最先进性能，包括在MSRVTT-QA上达到38.6%的准确率，在MSVD-QA上达到41.2%。
• 消融实验表明，若移除查询条件化（w/o Q_C），MSRVTT-QA上的性能降至51.30%，证实其关键作用。
• 该模型在所有问题类型上均优于先前方法，尤其在MSRVTT-QA的'什么'类问题上性能差距达4.6%，表明其在动作/活动识别方面有显著提升。
• 定性分析表明，注意力权重能准确定位相关视觉元素（如特定帧和对象），并能区分与查询相关的不同层次（如动作与对象）。
• 学习到的邻接矩阵具有稀疏性，表明模型能有效过滤无关视觉关系，增强可解释性。
• 即使最简变体（w/o G_O & G_F）也达到较强性能（MSRVTT-QA上为50.62%），凸显改进数据表示和基于BERT编码的优势。