[论文解读] Sequence to Sequence -- Video to Text

Subhashini Venugopalan, Marcus Rohrbach+4 more|arXiv (Cornell University)|May 3, 2015

Multimodal Machine Learning Applications参考文献 43被引用 193

一句话总结

该论文提出S2VT，一种序列到序列的深度学习模型，通过堆叠LSTM将可变长度的视频输入（帧）映射到自然语言字幕。该模型在MSVD、MPII-MD和M-VAD数据集上实现了最先进性能，通过联合学习时间动态视频表征与语言建模，无需显式注意力机制，其METEOR得分相比之前方法最高提升1.5个百分点。

ABSTRACT

Real-world videos often have complex dynamics; and methods for generating open-domain video descriptions should be sensitive to temporal structure and allow both input (sequence of frames) and output (sequence of words) of variable length. To approach this problem, we propose a novel end-to-end sequence-to-sequence model to generate captions for videos. For this we exploit recurrent neural networks, specifically LSTMs, which have demonstrated state-of-the-art performance in image caption generation. Our LSTM model is trained on video-sentence pairs and learns to associate a sequence of video frames to a sequence of words in order to generate a description of the event in the video clip. Our model naturally is able to learn the temporal structure of the sequence of frames as well as the sequence model of the generated sentences, i.e. a language model. We evaluate several variants of our model that exploit different visual features on a standard set of YouTube videos and two movie description datasets (M-VAD and MPII-MD).

研究动机与目标

• 解决为具有可变长度输入和输出序列的视频生成开放域自然语言描述的挑战。
• 在端到端可训练框架中，同时建模视频帧的时间结构和自然语言描述的序列语法。
• 通过联合学习视觉表征与语言生成，提升视频字幕生成性能，而无需依赖模板化或两阶段流水线方法。
• 在包括YouTube视频和电影语料在内的多样化数据集上评估模型，展示其鲁棒性与泛化能力。
• 证明仅使用LSTM和多模态视觉输入（RGB与光流）的简单序列到序列架构，可超越复杂的注意力机制模型。

提出的方法

• 该模型使用堆叠的长短期记忆网络（LSTM）将视频帧序列编码为隐藏状态表征。
• 每帧通过预训练的卷积神经网络（CNN），如VGG，提取视觉特征，随后按顺序输入编码器LSTM。
• 相邻帧之间的光流特征也被提取，并通过独立的CNN处理后输入编码器LSTM，以捕捉运动动态。
• 编码器的最终隐藏状态用于初始化解码器LSTM，解码器自回归地逐字生成词序列。
• 整个模型通过交叉熵损失进行端到端训练，以最小化预测字幕序列与真实字幕序列之间的差异。
• 在编码器和解码器LSTM的输入层和输出层应用Dropout，以防止过拟合，尤其是在较小的电影数据集上。

实验结果

研究问题

• RQ1 带有LSTM的序列到序列模型能否有效学习视频帧中的时间依赖性，并生成语法正确、描述性强的句子？
• RQ2 视觉编码与语言生成的联合学习是否优于两阶段或模板化字幕生成方法？
• RQ3 与仅使用RGB输入相比，引入光流特征在多大程度上提升了视频字幕生成性能？
• RQ4 该模型是否能在无需架构修改的情况下，泛化到多样化的视频领域，如YouTube剪辑和电影场景？
• RQ5 模型性能在多大程度上随训练数据量的增加而提升？其在基准数据集上的表现与最先进方法相比如何？

主要发现

• 在MSVD数据集上，S2VT取得18.5%的METEOR得分，优于先前方法，在标准YouTube视频字幕基准上表现强劲。
• 在MPII-MD数据集上，S2VT取得7.1%的METEOR得分，超过SMT基线（5.6%）和平均池化基线（6.7%），在具有挑战性的电影描述数据集上表现显著提升。
• 在M-VAD数据集上，S2VT取得6.7%的METEOR得分，优于时间注意力模型（4.3%）和平均池化方法（6.1%），表明其在复杂电影场景中具有更优的泛化能力。
• 在LSMDC联合挑战中，S2VT在公开测试集上取得7.0%的METEOR得分，展示了其在多样化电影描述任务中的强大性能。
• 在MSVD上，42.9%的生成句子与训练句子完全匹配，81.2%的句子在一次编辑距离内，表明其具有高度的相关性与语言质量。
• 该模型展现出强大的模型容量与泛化能力，在更大数据集上性能显著提升，表明其具备可扩展性，并对领域偏移具有鲁棒性。