[论文解读] Video2Commonsense: Generating Commonsense Descriptions to Enrich Video Captioning

Zhiyuan Fang, Tejas Gokhale+3 more|arXiv (Cornell University)|Mar 11, 2020

Multimodal Machine Learning Applications参考文献 55被引用 5

一句话总结

本文提出 Video2Commonsense (V2C)，一种新颖的框架，可直接从视频生成常识描述（意图、影响和属性），以丰富事实性字幕。通过使用 V2C-Transformer 模型和一个包含约 9,000 个真人标注视频的新数据集，该方法通过将抽象的常识推理建立在视觉输入基础上，提升了视频理解能力，在字幕生成和开放性视频问答任务中均取得成功。

ABSTRACT

Captioning is a crucial and challenging task for video understanding. In videos that involve active agents such as humans, the agent's actions can bring about myriad changes in the scene. Observable changes such as movements, manipulations, and transformations of the objects in the scene, are reflected in conventional video captioning. Unlike images, actions in videos are also inherently linked to social aspects such as intentions (why the action is taking place), effects (what changes due to the action), and attributes that describe the agent. Thus for video understanding, such as when captioning videos or when answering questions about videos, one must have an understanding of these commonsense aspects. We present the first work on generating commonsense captions directly from videos, to describe latent aspects such as intentions, effects, and attributes. We present a new dataset "Video-to-Commonsense (V2C)" that contains $\sim9k$ videos of human agents performing various actions, annotated with 3 types of commonsense descriptions. Additionally we explore the use of open-ended video-based commonsense question answering (V2C-QA) as a way to enrich our captions. Both the generation task and the QA task can be used to enrich video captions.

研究动机与目标

• 为解决缺乏能够推断人类行为中不可见、潜在方面（如意图、影响和属性）的生成模型的问题。
• 开发一种新的视频理解任务——视频到常识（V2C），通过融入常识推理，扩展传统视频字幕任务。
• 创建一个大规模、人工标注的数据集（V2C），包含三种基于视觉输入的常识描述。
• 探索将基于开放性视频的常识问答（V2C-QA）作为提升和评估常识字幕生成能力的手段。
• 建立一个强大的基线模型（V2C-Transformer），通过跨模态注意力机制，联合生成字幕和常识描述。

提出的方法

• V2C-Transformer 模型使用视频编码器从输入视频帧中提取全局视觉表征。
• 一个 Transformer 解码器通过单个序列到序列生成过程，同时生成事实性字幕和三类常识描述（意图、影响、属性）。
• 一个跨模态自注意力模块将视觉特征与文本嵌入对齐，以实现在视觉与语言上的联合推理。
• V2C 数据集通过从 Atomic 数据集检索候选常识文本，使用 BERT 进行排序，并通过人工标注对视频片段进行精炼而构建。
• 引入 V2C-QA 任务作为补充设置，通过关于潜在常识方面的提问来引导和评估模型的推理能力。
• 该框架在 MSR-VTT（用于视频-字幕对）和新整理的、包含人工标注常识描述的 V2C 数据集组合上进行训练和评估。

实验结果

研究问题

• RQ1 深度学习模型能否直接从视频输入生成语义丰富、视觉对齐的常识描述（意图、影响、属性）？
• RQ2 与基线字幕生成模型相比，V2C-Transformer 模型在生成准确且多样的常识描述方面效果如何？
• RQ3 关于常识方面的开放性视频问答能否提升生成字幕的质量？
• RQ4 模型在推理潜在心理状态和未来影响方面的能力在多大程度上增强了下游视频理解任务的表现？
• RQ5 自动化检索（来自 Atomic）与人工精炼相结合，如何提升常识标注的质量和相关性？

主要发现

• V2C-Transformer 模型在生成意图、影响和属性描述方面表现优异，证明了常识推理端到端视觉对齐的可行性。
• V2C 数据集中人工标注的常识描述展现出高度的语言多样性和视觉相关性，验证了数据收集流程的质量。
• V2C-QA 任务成功利用常识推理提升了字幕生成质量，表明该模型在相关视觉-语言任务中具有可迁移性。
• 该模型在捕捉潜在方面（如未来后果和行为动机）方面优于基线字幕模型，而这些方面是标准字幕模型所无法涵盖的。
• 与仅使用自动检索相比，结合 BERT 排序与人工标注显著提升了检索到的常识候选的准确性和相关性。
• 该框架展示了迁移学习潜力，V2C-Transformer 可作为需要常识推理的视频问答任务中的有效组件。