[论文解读] Spatio-Temporal Attention Models for Grounded Video Captioning

Mihai Zanfir, Elisabeta Marinoiu+1 more|arXiv (Cornell University)|Oct 17, 2016

Multimodal Machine Learning Applications参考文献 39被引用 24

一句话总结

本文提出了一种用于视觉定位视频描述的时空注意力模型，通过融合时空目标提议与图像分类特征，利用LSTM实现无需定位监督的主体、动词和对象定位。该方法在YouTube视频描述基准上实现了最先进性能，同时为生成描述中的每个词语提供了可解释的视觉定位。

ABSTRACT

Automatic video captioning is challenging due to the complex interactions in dynamic real scenes. A comprehensive system would ultimately localize and track the objects, actions and interactions present in a video and generate a description that relies on temporal localization in order to ground the visual concepts. However, most existing automatic video captioning systems map from raw video data to high level textual description, bypassing localization and recognition, thus discarding potentially valuable information for content localization and generalization. In this work we present an automatic video captioning model that combines spatio-temporal attention and image classification by means of deep neural network structures based on long short-term memory. The resulting system is demonstrated to produce state-of-the-art results in the standard YouTube captioning benchmark while also offering the advantage of localizing the visual concepts (subjects, verbs, objects), with no grounding supervision, over space and time.

研究动机与目标

• 解决在无需人工标注定位信息的情况下，对视频描述中的视觉概念（主体、动词、对象）进行定位的挑战。
• 通过将时空目标提议与预训练图像分类特征整合到深度学习框架中，提升视频描述性能。
• 实现基于注意力机制的可解释性视频文本元素定位，将词语与特定时空区域关联。
• 在标准YouTube视频描述基准上实现最先进性能，同时保持定位能力。

提出的方法

• 该模型采用双流架构：一条流通过C3D和VGG-16处理视频帧，提取时空与外观特征；另一条流处理来自R-C3D的目标提议。
• 采用时空注意力机制，计算生成词语与目标提议之间的对齐权重（β），为每个词语选择最相关的提议。
• 注意力机制集成于基于LSTM的解码器中，按词生成句子，条件依赖于视觉特征和前一隐藏状态。
• 从YouTube数据集上预训练的分类器中获取高层语义表征（SVO：主体-动词-对象），并与视觉特征融合。
• 使用交叉熵损失进行描述生成训练，结合L2正则化防止过拟合，实现端到端训练。
• 通过为每个词语选择β权重最高的提议，后处理推断视觉定位，实现对每个词语所支持视频区域的可解释性分析。

实验结果

研究问题

• RQ1 端到端的视频描述模型是否能在无任何定位监督的情况下，实现对视频中主体、动词和对象的定位？
• RQ2 整合时空目标提议与图像分类特征在多大程度上提升了描述性能与可解释性？
• RQ3 基于LSTM的注意力机制在多大程度上能将文本输出与视频中的特定时空区域对齐？
• RQ4 所提出方法是否在标准视频描述基准上实现了最先进性能，同时提供视觉定位能力？

主要发现

• 该模型在YouTube视频描述基准上达到BLEU-4分数51.5%和METEOR分数32.0%，优于先前方法。
• 即使在小空间区域中，模型也能高精度定位如'pepper'、'ball'、'toy'和'gun'等关键词。
• 在'girl riding a horse'等案例中，单一时空提议被正确关联至多个词语，展示了连贯的定位能力。
• 在许多情况下，模型能正确识别主体与动词（如'man-cutting'、'dog-playing'），但因外观可变性，对象定位仍具挑战。
• 尽管性能出色，模型偶尔仍会生成错误句子（如将'a boy is playing a ball'误生成为'a man playing with a ball'），表明在对象识别方面存在局限。
• 模型的注意力机制能成功突出每个词语对应的视频帧，为描述生成过程提供可解释的视觉支持。