[论文解读] Video Captioning with Boundary-aware Hierarchical Language Decoding and Joint Video Prediction

Xiangxi Shi, Jianfei Cai+2 more|arXiv (Cornell University)|Jul 8, 2018

Multimodal Machine Learning Applications被引用 3

一句话总结

本文提出了一种边界感知的分层语言解码器用于视频字幕生成，通过联合优化视频字幕生成与预测任务，结合共享注意力机制与边界感知编码，实现了在MSR-VTT和MSVD数据集上的最先进性能。该方法整合了一个高层GRU用于全局句子建模，以及一个带有二值门的低层GRU用于短语级边界检测。

ABSTRACT

The explosion of video data on the internet requires effective and efficient technology to generate captions automatically for people who are not able to watch the videos. Despite the great progress of video captioning research, particularly on video feature encoding, the language decoder is still largely based on the prevailing RNN decoder such as LSTM, which tends to prefer the frequent word that aligns with the video. In this paper, we propose a boundary-aware hierarchical language decoder for video captioning, which consists of a high-level GRU based language decoder, working as a global (caption-level) language model, and a low-level GRU based language decoder, working as a local (phrase-level) language model. Most importantly, we introduce a binary gate into the low-level GRU language decoder to detect the language boundaries. Together with other advanced components including joint video prediction, shared soft attention, and boundary-aware video encoding, our integrated video captioning framework can discover hierarchical language information and distinguish the subject and the object in a sentence, which are usually confusing during the language generation. Extensive experiments on two widely-used video captioning datasets, MSR-Video-to-Text (MSR-VTT) \cite{xu2016msr} and YouTube-to-Text (MSVD) \cite{chen2011collecting} show that our method is highly competitive, compared with the state-of-the-art methods.

研究动机与目标

• 解决基于RNN的语言解码器在视频字幕生成中对频繁共现词语的过拟合问题。
• 通过建模分层语言结构提升句子级连贯性并减少幻觉现象。
• 通过联合学习视频字幕生成与视频预测任务，提升视频字幕生成性能。
• 利用低层GRU中的二值门检测语言边界（如主语-动词或名词-动词转换）。
• 将边界感知的视频编码与分层语言解码相结合，以提升语义对齐效果。

提出的方法

• 提出一种分层语言解码器，包含高层GRU（全局语言模型）与低层GRU（局部短语级模型），用于句子生成。
• 引入一种二值门循环单元（B-GRU），利用可学习的二值门检测词语或短语之间的语言边界。
• 在视频字幕生成与视频预测任务之间采用共享软注意力机制，以提升特征对齐效果并减少参数量。
• 使用边界感知的视频编码方法，以改善视觉事件的时间定位能力。
• 将联合视频预测作为多任务学习目标，以增强特征表示与推理能力。
• 将所有组件融合为一个端到端可训练的框架，并采用束搜索进行推理。

实验结果

研究问题

• RQ1 具有边界检测能力的分层语言解码器是否能提升生成视频字幕的语义结构与准确性？
• RQ2 联合视频预测如何提升视频字幕生成模型的性能？
• RQ3 字幕生成与预测任务之间的共享注意力在多大程度上改善了特征学习？
• RQ4 语言解码器中的边界检测能否减少主语-宾语混淆或错误词语共现等常见错误？
• RQ5 当仅在单一数据集上进行训练时，所提出的框架与最先进方法相比表现如何？

主要发现

• 在MSR-VTT数据集上，该模型取得了BLEU-4得分为50.3、CIDEr得分为74.3的成绩，优于仅在单一数据集上训练的先前方法。
• 在MSVD数据集上，该模型取得了BLEU-4得分为39.8、CIDEr得分为43.3的成绩，展示了在各项指标上的强劲表现。
• 消融实验证实，边界检测、共享注意力、视频预测与分层语言建模等各组件均对性能提升有显著贡献。
• B-GRU中的二值门成功检测到语言边界，例如名词短语与动词之间的边界，如定性示例所示。
• 共享注意力机制优于为字幕生成与预测任务分别使用独立注意力模块，证明了其在特征共享方面的有效性。
• 定性结果表明，幻觉现象显著减少，例如避免生成如“一个女人正在骑另一个女人”之类的错误描述，且主语-动词对齐效果得到改善。