[论文解读] Spatio-Temporal Scene Graphs for Video Dialog.

Shijie Geng, Peng Gao+3 more|arXiv (Cornell University)|Jul 8, 2020

Multimodal Machine Learning Applications被引用 7

一句话总结

该论文提出了一种时空场景图表示（STSGR），通过建模视频帧之间细粒度视觉区域及其相互作用，以增强视频对话系统。通过结合图内推理与图间时序聚合，并引入语义控制的Transformer，STSGR在AVSD基准上实现了最先进性能，在人类评估中相比先前方法实现了12%的相对提升。

ABSTRACT

The Audio-Visual Scene-aware Dialog (AVSD) task requires an agent to indulge in a natural conversation with a human about a given video. Specifically, apart from the video frames, the agent receives the audio, brief captions, and a dialog history, and the task is to produce the correct answer to a question about the video. Due to the diversity in the type of inputs, this task poses a very challenging multimodal reasoning problem. Current approaches to AVSD either use global video-level features or those from a few sampled frames, and thus lack the ability to explicitly capture relevant visual regions or their interactions for answer generation. To this end, we propose a novel spatio-temporal scene graph representation (STSGR) modeling fine-grained information flows within videos. Specifically, on an input video sequence, STSGR (i) creates a two-stream visual and semantic scene graph on every frame, (ii) conducts intra-graph reasoning using node and edge convolutions generating visual memories, and (iii) applies inter-graph aggregation to capture their temporal evolutions. These visual memories are then combined with other modalities and the question embeddings using a novel semantics-controlled multi-head shuffled transformer, which then produces the answer recursively. Our entire pipeline is trained end-to-end. We present experiments on the AVSD dataset and demonstrate state-of-the-art results. A human evaluation on the quality of our generated answers shows 12% relative improvement against prior methods.

研究动机与目标

• 解决视频对话中的多模态推理挑战，即智能体必须理解视觉、听觉和语言输入以回答问题。
• 克服现有方法依赖全局视频特征或稀疏帧采样所带来的局限，这些方法无法有效建模细粒度视觉交互。
• 开发一种显式建模视觉区域之间空间关系及其在视频帧间时序演化的表示方法。
• 实现统一架构的端到端训练，融合视觉、音频、字幕、对话历史和问题嵌入以生成答案。
• 通过视觉场景的结构化推理和增强的跨模态注意力机制，提升答案质量。

提出的方法

• 为每个视频帧构建双流视觉与语义场景图，分别在视觉空间和语言空间中编码对象及其关系。
• 在每帧图内应用节点和边卷积，执行图内推理并生成动态视觉记忆。
• 在连续帧之间执行图间聚合，以建模视觉关系和场景动态的时序演化。
• 使用语义控制的多头混洗Transformer，将生成的视觉记忆与音频、字幕、对话历史和问题嵌入进行融合。
• 通过递归解码方式，利用Transformer逐 token 生成答案，由多模态上下文引导。
• 使用标准视频对话损失函数，对整个流水线进行端到端训练。

实验结果

研究问题

• RQ1 结构化的时空场景图表示能否提升视频对话系统中的多模态推理能力？
• RQ2 图内卷积推理在多大程度上能有效捕捉单帧内的局部视觉关系？
• RQ3 图间时序聚合在多大程度上能增强对视频帧间场景动态的建模能力？
• RQ4 语义控制的多头混洗Transformer是否能通过更好地对齐多模态输入来提升答案生成质量？
• RQ5 所提方法能否在AVSD基准上实现最先进性能，并在人类评估中实现可测量的提升？

主要发现

• 所提出的STSGR模型在AVSD基准上实现了最先进性能，自动评估结果优于先前方法。
• 人类评估显示，答案质量相比最佳基线方法有12%的相对提升。
• 该模型在推理视频场景中的空间关系和时序动态方面表现出更强的能力。
• 通过图内与图间推理融合视觉记忆，生成了更准确且上下文相关的答案。
• 语义控制的多头混洗Transformer有效融合了多模态输入，并提升了答案的连贯性。
• 整个流水线的端到端训练使联合表征学习过程得到更优优化。