[论文解读] Video Fill in the Blank with Merging LSTMs

Amir Mazaheri, Dong Zhang+1 more|arXiv (Cornell University)|Oct 13, 2016

Multimodal Machine Learning Applications参考文献 15被引用 15

一句话总结

本文提出了一种新颖的合并LSTM方法用于视频填空（ViFitB）任务，通过两个独立的LSTM分别编码空白前后的句子片段，利用可学习的tanh层进行特征融合，并通过空间注意力机制将融合后的表示与视觉特征结合。该方法在LSMDC 2016电影填空数据集上取得了34.2%的准确率，通过联合建模文本与视觉信息并采用渐进式训练，优于基线模型。

ABSTRACT

Given a video and its incomplete textural description with missing words, the Video-Fill-in-the-Blank (ViFitB) task is to automatically find the missing word. The contextual information of the sentences are important to infer the missing words; the visual cues are even more crucial to get a more accurate inference. In this paper, we presents a new method which intuitively takes advantage of the structure of the sentences and employs merging LSTMs (to merge two LSTMs) to tackle the problem with embedded textural and visual cues. In the experiments, we have demonstrated the superior performance of the proposed method on the challenging "Movie Fill-in-the-Blank" dataset.

研究动机与目标

• 解决在视频描述中缺失词语预测的问题，其中句子结构在空白处被分割。
• 通过结合语言上下文与视觉线索，提升视频填空任务的性能。
• 设计一种模型，通过双LSTM和融合机制高效编码空白前后的句子片段。
• 展示空间注意力机制在对齐文本表征与相关视觉区域方面的有效性，以实现更优的推理效果。

提出的方法

• 该方法使用两个独立的LSTM分别编码空白两侧的句子部分，以捕捉来自两侧的上下文语义。
• 将两个LSTM的输出拼接后，通过一个带有权重矩阵的可学习tanh层，生成统一的句子表征u。
• 利用预训练的VGG-19网络从视频帧中提取视觉特征，随后进行最大池化操作，生成14×14×512的特征张量。
• 通过投影后逐元素相加的方式，将文本表征u与视觉特征Fv结合，生成联合特征h。
• 通过在联合特征h上应用softmax函数，计算注意力权重P，使模型能够聚焦于视频中相关的空间区域。
• 最终通过在合并后的文本表征与加权视觉特征之和上应用softmax层，生成空白词的预测结果。

实验结果

研究问题

• RQ1 双LSTM能否有效编码空白前后被分割的句子上下文，从而提升视频描述中的词语预测性能？
• RQ2 通过注意力机制将视觉特征与文本表征结合，如何提升ViFitB任务的性能？
• RQ3 与端到端训练相比，网络的渐进式训练是否能带来更好的性能表现？
• RQ4 视觉线索与空间注意力在多大程度上促进了准确的空白词预测？
• RQ5 所提出的合并LSTM架构与仅使用文本或视觉特征的模型相比，表现如何？

主要发现

• 渐进式训练策略在电影填空数据集上达到了34.2%的准确率，优于端到端训练方法（准确率为31.7%）。
• 采用渐进式训练的所提方法超越了基线的“左半句”方法，后者仅依赖句子左半部分，准确率仅为15.5%。
• 仅使用视觉特征的LSTM基线模型准确率仅为5.5%，表明缺乏语言上下文时，视觉特征本身不足以实现有效预测。
• 同时结合文本与视觉特征的完整模型达到了34.2%的准确率，证明联合建模文本与视觉信息能显著提升性能。
• 对双LSTM输出采用融合机制的性能优于仅使用句子单侧信息的模型，凸显了双向上下文编码的重要性。