[论文解读] Uncovering Temporal Context for Video Question and Answering

Linchao Zhu, Zhongwen Xu+2 more|arXiv (Cornell University)|Nov 15, 2015

Multimodal Machine Learning Applications参考文献 52被引用 41

一句话总结

本文提出了一种基于GRU的编码器-解码器框架，结合双通道排序损失，用于跨过去、现在和未来时间状态的视频问答。通过利用视觉-语言联合表征和一个包含109,895段视频剪辑及390,744道多选题的大规模数据集，该方法显著优于基线模型，在TACoS数据集上分别实现了78.3%和79.7%的准确率，分别对应于硬样本下的过去推理和未来预测任务。

ABSTRACT

In this work, we introduce Video Question Answering in temporal domain to infer the past, describe the present and predict the future. We present an encoder-decoder approach using Recurrent Neural Networks to learn temporal structures of videos and introduce a dual-channel ranking loss to answer multiple-choice questions. We explore approaches for finer understanding of video content using question form of "fill-in-the-blank", and managed to collect 109,895 video clips with duration over 1,000 hours from TACoS, MPII-MD, MEDTest 14 datasets, while the corresponding 390,744 questions are generated from annotations. Extensive experiments demonstrate that our approach significantly outperforms the compared baselines.

研究动机与目标

• 为解决视频问答中缺乏时序推理的问题，实现对过去动作、当前状态和未来预测的推理。
• 通过建模视频帧与自然语言问题之间的细粒度交互，超越视频字幕生成，提升视频理解能力。
• 开发一种可扩展的端到端框架，联合学习视觉与语言表征，以支持时序视频问答。
• 构建并发布一个大规模、多样化的视频问答数据集，包含1,000多小时的视频和39万道多选题，用于基准测试。
• 采用受控难度的‘填空式’（FITB）格式进行评估，以实现可靠且可复现的模型性能比较。

提出的方法

• 使用基于GRU的编码器-解码器架构，以建模视频剪辑中的长程时序依赖关系。
• 采用双通道排序损失，联合优化过去推理、当前描述和未来预测三项任务。
• 在联合嵌入空间中整合来自ConvNets的视觉特征与词向量及句子嵌入，以增强跨模态理解。
• 利用外部知识库（如BookCorpus、Google News）提升问题解析与推理能力。
• 在视频剪辑上以无监督方式预训练模型，以学习时序结构，随后在问答任务上进行微调。
• 采用‘填空式’多选题格式进行评估，实现对模型性能的受控且可复现的评估。

实验结果

研究问题

• RQ1 统一的视频问答框架能否有效建模过去、现在和未来状态的时序推理？
• RQ2 与单独建模模态相比，联合视觉-语言表征学习在多大程度上提升了视频问答性能？
• RQ3 双通道排序损失在多大程度上提升了不同时间推理任务中的答案选择准确率？
• RQ4 基于GRU的编码器-解码器架构是否在建模视频中的长程时序依赖关系方面优于基于ConvNet的模型？
• RQ5 具有受控难度的大规模多选题视频问答数据集能否实现对时序视频理解模型的可靠且可扩展的评估？

主要发现

• 所提出的GRU模型在TACoS数据集上对过去推理任务达到78.3%的准确率，对硬样本下的未来预测任务达到79.7%，优于基于ConvNet的基线模型。
• 在TACoS数据集的硬样本下，该模型在过去推理任务上比ConvNet基线提升3.5%，在未来预测任务上提升2.8%。
• 在MPII-MD数据集上，该模型在硬样本下对过去推理任务达到72.1%的准确率，对未来预测任务达到73.6%，显示出对ConvNet模型的一致性优势。
• 该模型在未来预测任务上的表现优于过去推理任务，可能是因为未来预测任务中的时序依赖关系更短。
• 双通道排序损失通过联合利用视觉和语言上下文，在所有三项时序任务中均有效提升了答案选择的准确性。
• 由于GRU参数量减少，且视觉与语言特征实现了有效的联合学习，该模型表现出对过拟合的鲁棒性。