[论文解读] Video Description Generation Incorporating Spatio-Temporal Features and a Soft-Attention Mechanism

Yao Li, Atousa Torabi+5 more|arXiv (Cornell University)|Feb 27, 2015

Multimodal Machine Learning Applications参考文献 37被引用 47

一句话总结

本文提出了一种使用LSTM网络和软注意力机制，并结合视频帧的时空特征的视频描述生成模型。通过将静态帧特征与基于运动的特征相结合并应用软注意力机制，该模型在YouTube2Text数据集上实现了最先进性能，在BLEU和METEOR指标上优于先前的方法。

ABSTRACT

Recent progress in using recurrent neural networks (RNNs) for image description has motivated us to explore the application of RNNs to video description. Recent work has also suggested that attention mechanisms may be able to increase performance. To this end, we apply a long short-term memory (LSTM) network in two configurations: with a recently introduced soft-attention mechanism, and without. Our results suggest two things. First, incorporating a soft-attention mechanism into the text generation RNN significantly improves the quality of the descriptions. Second, using a combination of still frame features and dynamic motion-based features can also help. Ultimately, our combined approach exceeds the state-of-art on both BLEU and Meteor on the Youtube2Text dataset. We also present results on a new, larger and more complex dataset of paired video and natural language descriptions based on the use of Descriptive Video Service (DVS) annotations which are now widely available as an additional audio track on many DVDs.

研究动机与目标

• 将循环神经网络（RNNs）从图像字幕生成扩展到视频描述生成。
• 探究注意力机制是否能够提升视频描述的质量。
• 评估在视频字幕生成中结合静态帧特征与动态运动特征的有效性。
• 通过更大、更复杂的描述性视频服务（DVS）注释数据集建立新基准。
• 在标准视频字幕评估指标上实现最先进性能。

提出的方法

• 使用长短期记忆（LSTM）网络进行视频描述中的序列生成。
• 应用软注意力机制，在字幕生成过程中动态聚焦于相关视频区域。
• 整合来自单个视频帧的空间特征和来自视频片段的时间运动特征。
• 使用与自然语言描述配对的视频片段进行端到端训练。
• 采用双编码器方法提取并组合静态帧特征与运动特征，再输入LSTM网络。
• 利用一个新的、更大的DVS注释视频数据集，以评估模型的泛化能力和鲁棒性。

实验结果

研究问题

• RQ1 与标准LSTM基线模型相比，引入软注意力机制是否能提升视频描述质量？
• RQ2 结合静态帧特征与基于运动的特征是否能提升视频字幕生成模型的性能？
• RQ3 与现有基准相比，该模型在更大、更复杂的DVS注释视频数据集上的表现如何？
• RQ4 该模型在BLEU和METEOR等标准评估指标上，超出最先进水平的程度如何？

主要发现

• 将软注意力机制整合到基于LSTM的文本生成网络中，显著提升了生成视频描述的质量。
• 结合静态帧特征与动态运动特征的模型性能优于仅使用其中任一特征的模型。
• 该模型在YouTube2Text数据集上实现了最先进结果，在BLEU和METEOR指标上均优于先前方法。
• 该模型在新引入的、更大且更复杂的描述性视频服务（DVS）注释数据集上表现出强大的泛化能力。
• 使用DVS注释视频作为训练和评估资源，为视频字幕生成提供了更真实、更多样化的基准。