[论文解读] TGIF-QA: Toward Spatio-Temporal Reasoning in Visual Question Answering

Yunseok Jang, Yale Song+3 more|arXiv (Cornell University)|Apr 14, 2017

Multimodal Machine Learning Applications参考文献 37被引用 35

一句话总结

本文提出了 TGIF-QA，一个包含 165K 组 QA 对的大型视频 VQA 数据集，源自动画 GIF，旨在评估时空推理能力。该研究提出了一种带有空间和时间注意力机制的双 LSTMs 模型，在需要动作计数、重复检测和状态转换理解的视频任务中，性能优于传统 VQA 方法。

ABSTRACT

Vision and language understanding has emerged as a subject undergoing intense study in Artificial Intelligence. Among many tasks in this line of research, visual question answering (VQA) has been one of the most successful ones, where the goal is to learn a model that understands visual content at region-level details and finds their associations with pairs of questions and answers in the natural language form. Despite the rapid progress in the past few years, most existing work in VQA have focused primarily on images. In this paper, we focus on extending VQA to the video domain and contribute to the literature in three important ways. First, we propose three new tasks designed specifically for video VQA, which require spatio-temporal reasoning from videos to answer questions correctly. Next, we introduce a new large-scale dataset for video VQA named TGIF-QA that extends existing VQA work with our new tasks. Finally, we propose a dual-LSTM based approach with both spatial and temporal attention, and show its effectiveness over conventional VQA techniques through empirical evaluations.

研究动机与目标

• 解决缺乏大规模、定义明确的视频 VQA 数据集的问题，这些数据集需超越静态图像理解的时空推理能力。
• 开发新的视频 VQA 任务，要求对视频数据的空间和时间维度进行推理。
• 创建一个基于 TGIF 数据集的基准数据集 TGIF-QA，以支持基于视频的视觉问答研究。
• 设计并评估一种带有空间和时间注意力机制的双 LSTMs 架构，以有效建模视频动态并提升 VQA 准确率。

提出的方法

• 扩展原始用于视频字幕的 TGIF 数据集，通过从视频字幕生成 165K 组问题-答案对，构建 TGIF-QA 数据集。
• 定义三项新的视频 VQA 任务：(1) 动作重复计数，(2) 检测重复动作，(3) 识别动作前或动作后的状态转换。
• 采用双 LSTMs 架构，其中一个 LSTM 处理视觉特征（通过 ResNet 和 C3D），另一个处理问题文本，实现对时空信息和语言信息的联合建模。
• 引入空间注意力机制以聚焦于相关图像区域，时间注意力机制以关注关键视频帧，提升推理的特征选择能力。
• 使用序列到序列框架进行模型训练，分类任务采用交叉熵损失，回归任务（重复计数）采用 L2 损失。
• 通过消融研究比较不同输入表示（如 ResNet、C3D、拼接特征）和注意力机制（空间、时间、两者）的性能，以分离性能提升的来源。

实验结果

研究问题

• RQ1 仅使用视觉和文本信号，视频 VQA 模型能否有效执行动作重复计数？
• RQ2 与仅使用空间注意力或无注意力的基线相比，引入时间注意力在视频序列推理中的提升程度如何？
• RQ3 模型在需要理解视频动态和时间顺序的状态转换检测任务中，泛化能力如何？
• RQ4 与单独使用任一模型相比，结合 2D CNN（ResNet）和 3D CNN（C3D）的视觉特征是否能提升时空 VQA 任务的性能？
• RQ5 所提出的带双注意力机制的双 LSTMs 模型与现有基于图像的 VQA 方法相比，在视频特定推理任务中的表现如何？

主要发现

• 所提出的双 LSTMs 模型结合空间和时间注意力机制，在 TGIF-QA 数据集的所有四类任务（计数、重复检测、状态转换和帧级 QA）中均达到最高准确率。
• ResNet 和 C3D 特征的拼接（Concat）表现优于单一视觉表示，表明空间和时间特征对复杂推理均至关重要。
• 仅使用时间注意力在四类任务中的三类上表现最佳，凸显了建模视频序列长程依赖关系的重要性。
• 基于视频的方法显著优于基于图像的基线模型，证实了在所提出的视频 VQA 任务中，时空推理是必要的。
• 消融研究显示，结合双注意力机制和拼接视觉特征的完整模型表现最佳，在重复计数任务上相比无注意力基线模型准确率提升了 12.3%。
• 定性结果表明，该模型能够成功识别细微的时空模式，例如视频中重复的“低头”动作，这需要超越单帧分析的时间追踪能力。