[论文解读] Translating Videos to Natural Language Using Deep Recurrent Neural Networks

Subhashini Venugopalan, Huijuan Xu+4 more|arXiv (Cornell University)|Dec 15, 2014

Multimodal Machine Learning Applications被引用 4

一句话总结

本文提出一种端到端的深度神经网络，通过结合卷积神经网络（CNN）进行视觉特征提取和长短期记忆（LSTM）网络进行序列生成，实现将视频片段直接翻译为自然语言句子的统一架构。通过从大规模图像分类和图像字幕数据集迁移知识，该模型在视频描述任务中达到最先进性能，相比先前方法显著提升了流畅性、准确性和相关性。

ABSTRACT

Solving the visual symbol grounding problem has long been a goal of artificial intelligence. The field appears to be advancing closer to this goal with recent breakthroughs in deep learning for natural language grounding in static images. In this paper, we propose to translate videos directly to sentences using a unified deep neural network with both convolutional and recurrent structure. Described video datasets are scarce, and most existing methods have been applied to toy domains with a small vocabulary of possible words. By transferring knowledge from 1.2M+ images with category labels and 100,000+ images with captions, our method is able to create sentence descriptions of open-domain videos with large vocabularies. We compare our approach with recent work using language generation metrics, subject, verb, and object prediction accuracy, and a human evaluation.

研究动机与目标

• 解决在大规模词汇表和有限标注训练数据条件下，为开放域、真实场景视频生成自然语言描述的挑战。
• 克服先前方法依赖中间语义角色表示或固定句式模板的局限性。
• 通过将大规模图像和字幕数据集的知识迁移至视频领域，提升视频描述质量。
• 开发一种端到端可训练的模型，联合学习视觉语义表征与流畅的语言生成，无需中间监督。
• 通过自动指标、零样本迁移和在YouTube视频语料库上的人工评估，对模型性能进行评估。

提出的方法

• 模型使用预训练的卷积神经网络（CIFAR-10/ILSVRC2012）从每个视频帧中提取空间特征。
• 将所有帧的视觉特征进行时间池化（平均池化），形成紧凑的视频级表征。
• 使用深层长短期记忆（LSTM）循环网络以词元为单位生成自然语言句子，条件依赖于池化后的视觉特征。
• LSTM在图像字幕数据集（Flickr30k 和 COCO）上进行预训练，以学习丰富的语言模式和语义组合。
• 通过使用图像字幕和图像分类预训练的权重初始化视频到文本模型，实现知识迁移。
• 整个网络在YouTube视频描述数据集上进行端到端微调，以适应视频特有的特征和语言模式。

实验结果

研究问题

• RQ1 端到端的深度神经网络能否有效将原始视频像素翻译为流畅、语法正确的自然语言句子？
• RQ2 从图像分类和图像字幕数据集迁移知识，如何提升在视频描述任务中有限视频特有训练数据下的性能？
• RQ3 与使用单个帧相比，帧级特征的平均池化在多大程度上提升了视频描述质量？
• RQ4 在大规模图像和字幕数据上进行预训练，是否能提升视频描述中主语、动词和宾语的预测准确率？
• RQ5 与基于模板或基于角色的方法相比，所提出的模型在流畅性、语法正确性和人工相关性方面表现如何？

主要发现

• 所提出的端到端CNN-LSTM模型在YouTube视频描述数据集上的自动指标和人工评估中，均优于先前的最先进方法。
• 在COCO和Flickr30k图像字幕数据集上进行预训练，相比仅在视频数据上训练，显著提升了主语、动词和宾语的预测准确率。
• 在COCO2014上预训练的模型表现出最大的性能提升，表明大规模图像字幕数据对视频描述极具有效性。
• 帧特征的平均池化显著优于使用单个帧，表明其更能捕捉更具代表性的视频级语义。
• 人工评估显示，生成的句子相比先前模型与视频内容的相关性更高，尽管在语法正确性方面仍不及基于模板的系统。
• 从图像字幕数据迁移学习可缩小模型输出与人工标注描述之间的性能差距，证明了辅助数据的价值。