[论文解读] Video Paragraph Captioning Using Hierarchical Recurrent Neural Networks

Haonan Yu, Jiang Wang+3 more|arXiv (Cornell University)|Oct 26, 2015

Multimodal Machine Learning Applications参考文献 72被引用 85

一句话总结

本文提出一种分层循环神经网络（h-RNN）用于视频段落描述生成，通过将句子生成器与维持上下文状态的段落生成器耦合，建模句子间的依赖关系。该方法在YouTubeClips和TACoS-MultiLevel数据集上分别取得BLEU@4分数0.499和0.305的最先进性能，显著优于先前方法。

ABSTRACT

We present an approach that exploits hierarchical Recurrent Neural Networks (RNNs) to tackle the video captioning problem, i.e., generating one or multiple sentences to describe a realistic video. Our hierarchical framework contains a sentence generator and a paragraph generator. The sentence generator produces one simple short sentence that describes a specific short video interval. It exploits both temporal- and spatial-attention mechanisms to selectively focus on visual elements during generation. The paragraph generator captures the inter-sentence dependency by taking as input the sentential embedding produced by the sentence generator, combining it with the paragraph history, and outputting the new initial state for the sentence generator. We evaluate our approach on two large-scale benchmark datasets: YouTubeClips and TACoS-MultiLevel. The experiments demonstrate that our approach significantly outperforms the current state-of-the-art methods with BLEU@4 scores 0.499 and 0.305 respectively.

研究动机与目标

• 解决现有视频描述模型仅生成单一句子的局限性，此类模型往往无法捕捉长视频的完整语义丰富性。
• 利用分层RNN架构建模视频段落中的句子间依赖关系，提升描述的连贯性与上下文准确性。
• 通过深度学习实现对长而复杂的视频的端到端多句描述生成。
• 在YouTubeClips和TACoS-MultiLevel等大规模基准测试中，于自动评估与人工评估中均优于现有方法。

提出的方法

• 该框架采用一个句子生成器，利用时空注意力机制聚焦于视频片段中的相关视觉特征，生成单个简短句子。
• 段落生成器维护一个隐藏状态，编码先前生成句子的历史信息，并将其与当前句子嵌入结合，用于更新句子生成器的初始状态。
• 句子生成器受段落生成器隐藏状态的条件控制，从而实现在段落内句子间的上下文建模。
• 模型在训练过程中使用真实句子序列进行监督，可能采用课程采样以缓解暴露偏差问题。
• 视觉特征通过C3D或VGGNet等深度网络提取，RNN按顺序处理这些特征以生成自然语言描述。
• 分层设计使段落生成器能够建模句子间的长距离依赖关系，从而提升多句输出的连贯性。

实验结果

研究问题

• RQ1 分层RNN架构能否有效建模视频段落描述中的句子间依赖关系？
• RQ2 引入段落级上下文是否能提升生成视频描述的连贯性与准确性，相较于独立句子生成方法？
• RQ3 所提方法能否在YouTubeClips和TACoS-MultiLevel等大规模视频描述基准上实现最先进性能？
• RQ4 该模型如何处理包含多个事件的长视频序列？是否能避免重复或不一致的句子生成？
• RQ5 注意力机制与分层RNN的结合在多大程度上减少了暴露偏差并提升了生成质量？

主要发现

• 所提出的h-RNN框架在YouTubeClips数据集上取得BLEU@4分数0.499，显著优于先前最先进方法。
• 在TACoS-MultiLevel数据集上，该模型取得BLEU@4分数0.305，展现出在复杂多事件视频描述任务中的强劲性能。
• 在TACoS-MultiLevel的人工评估中，h-RNN在4,314次比较中有773次被优先选择，较RNN-sent基线提升8.50%。
• 分层模型成功避免了句子重复，例如在独立句子生成基线中出现的‘took out a cutting board’重复生成两次的问题。
• 该模型展现出更优的上下文一致性，能正确建模事件序列，如‘walked to the sink’紧随‘opened the refrigerator’之后。
• 失败案例主要源于小物体检测错误，如将外观相似的物品混淆（例如芒果与橙子），凸显了在遮挡条件下视觉识别的挑战。