[论文解读] Temporal Pyramid Transformer with Multimodal Interaction for Video Question Answering

Min Peng, Chongyang Wang+3 more|arXiv (Cornell University)|Sep 10, 2021

Multimodal Machine Learning Applications参考文献 40被引用 5

一句话总结

本文提出了一种用于视频问答的时序金字塔Transformer（TPT）模型，通过利用多尺度时序特征和多模态交互，提升问题理解与视觉推理能力。通过采用从粗到细的问题特定Transformer（QT）以及结合多模态注意力与残差连接的局部到全局视觉推理（VI）模块，该模型在TGIF-QA、MSRVTT-QA和MSVD-QA数据集上实现了最先进性能。

ABSTRACT

Video question answering (VideoQA) is challenging given its multimodal combination of visual understanding and natural language understanding. While existing approaches seldom leverage the appearance-motion information in the video at multiple temporal scales, the interaction between the question and the visual information for textual semantics extraction is frequently ignored. Targeting these issues, this paper proposes a novel Temporal Pyramid Transformer (TPT) model with multimodal interaction for VideoQA. The TPT model comprises two modules, namely Question-specific Transformer (QT) and Visual Inference (VI). Given the temporal pyramid constructed from a video, QT builds the question semantics from the coarse-to-fine multimodal co-occurrence between each word and the visual content. Under the guidance of such question-specific semantics, VI infers the visual clues from the local-to-global multi-level interactions between the question and the video. Within each module, we introduce a multimodal attention mechanism to aid the extraction of question-video interactions, with residual connections adopted for the information passing across different levels. Through extensive experiments on three VideoQA datasets, we demonstrate better performances of the proposed method in comparison with the state-of-the-arts.

研究动机与目标

• 解决现有VideoQA方法中多尺度时序建模的不足，这些方法通常仅关注单一或有限的时序尺度。
• 通过在多个时序粒度上捕捉问题-视频语义共现，提升问题理解能力。
• 通过问题特定语义引导的局部到全局视觉推理，增强视觉推理能力。
• 在不同层级间集成多模态注意力与残差连接，以改善特征通信与表征学习。
• 证明时序金字塔结构在捕捉多样化视觉线索以应对不同VideoQA任务中的有效性。

提出的方法

• 从视频帧构建时序金字塔，在多个层级上提取外观-运动特征，以捕捉全局与细粒度动态。
• 使用问题特定Transformer（QT）模块，在金字塔各层级上建立每个问题词与视觉特征之间的从粗到细的多模态共现。
• 在QT的每一层级内应用多模态注意力机制，将问题标记与相关视觉特征对齐，并提取与问题相关的语义。
• 在QT中跨金字塔层级实施残差连接，以保留并传播来自粗粒度到细粒度层级的信息。
• 部署视觉推理（VI）模块，利用QT中的问题语义，引导在相同金字塔层级上的局部到全局视觉推理。
• 在VI中集成多模态注意力，以在不同时间尺度上动态关注相关视觉线索，通过层级间残差连接实现特征优化。

实验结果

研究问题

• RQ1 在多个时间尺度上建模视频外观-运动特征在多大程度上能提升视频问答性能？
• RQ2 在多层级视觉特征上进行问题特定语义建模，在多大程度上能增强对复杂视频问题的理解？
• RQ3 金字塔层级数量对动作识别、计数和时序推理等多样化VideoQA任务的性能有何影响？
• RQ4 在层级间集成多模态注意力与残差连接对特征表征与推理准确率有何影响？
• RQ5 具有层次化特征交互的两阶段架构（QT + VI）是否能优于端到端模型在VideoQA中的表现？

主要发现

• 所提出的TPT模型在三个基准VideoQA数据集上实现了最先进性能：TGIF-QA、MSRVTT-QA和MSVD-QA。
• 在TGIF-QA数据集上，模型在Action任务上达到76.6%准确率，Trans.任务上达到81.6%，FrameQA任务上达到57.8%，Count任务上达到3.63，优于先前最先进方法。
• 移除QT模块后，所有任务性能均下降，Action准确率下降0.4%，Count误差上升0.3%，证实其在问题理解中的关键作用。
• 金字塔层级数量显著影响性能：使用N=3或N=4层级时达到最优结果，其中N=3在信息丰富度与噪声抑制之间提供了最佳平衡。
• 该模型在多样化任务中表现出强鲁棒性，尤其在Count和Trans.任务上提升最为显著，因这些任务依赖多尺度视觉线索。
• 消融实验确认，多模态注意力与层级间残差连接对有效特征通信与性能提升至关重要。