[论文解读] Weakly Supervised Dense Video Captioning

Zhiqiang Shen, Jianguo Li+5 more|arXiv (Cornell University)|Apr 5, 2017

Multimodal Machine Learning Applications参考文献 53被引用 27

一句话总结

本文提出了一种弱监督密集视频字幕生成方法，仅使用视频级句子标注即可生成多个多样且信息丰富的字幕，避免了昂贵的区域-序列标注。该方法采用词汇全卷积网络（Lexical-FCN）实现弱监督视觉-词汇对齐，利用子模最大化方法发现多样化的区域-序列，通过序列到序列建模生成字幕，在MSR-VTT数据集上实现了最先进性能，单个字幕的性能显著超越先前方法。

ABSTRACT

This paper focuses on a novel and challenging vision task, dense video captioning, which aims to automatically describe a video clip with multiple informative and diverse caption sentences. The proposed method is trained without explicit annotation of fine-grained sentence to video region-sequence correspondence, but is only based on weak video-level sentence annotations. It differs from existing video captioning systems in three technical aspects. First, we propose lexical fully convolutional neural networks (Lexical-FCN) with weakly supervised multi-instance multi-label learning to weakly link video regions with lexical labels. Second, we introduce a novel submodular maximization scheme to generate multiple informative and diverse region-sequences based on the Lexical-FCN outputs. A winner-takes-all scheme is adopted to weakly associate sentences to region-sequences in the training phase. Third, a sequence-to-sequence learning based language model is trained with the weakly supervised information obtained through the association process. We show that the proposed method can not only produce informative and diverse dense captions, but also outperform state-of-the-art single video captioning methods by a large margin.

研究动机与目标

• 通过仅使用视频级句子标注进行训练，解决密集视频字幕中缺乏区域-序列级别标注的问题。
• 从弱标注视频数据中自动发现信息丰富且多样的区域-序列。
• 在无需句子到区域-序列对齐强监督的情况下，生成高质量且多样的字幕。
• 弥合弱监督模型与全监督基准系统在密集字幕生成任务中的性能差距。

提出的方法

• 提出词汇全卷积网络（Lexical-FCN），一种弱监督多实例多标签学习框架，将句子中的词汇映射到视频的空间网格区域。
• 引入子模最大化方案，基于Lexical-FCN激活分数生成多样且信息丰富的区域-序列。
• 在训练过程中采用胜者为王策略，弱关联句子与生成的区域-序列，无需真实对齐监督。
• 利用在弱关联区域-序列与句子对上训练的序列到序列语言模型，生成流畅且上下文相关的字幕。
• 采用潜在语义分析（LSA）计算句子相似性，并通过LSA嵌入表示的余弦相似度评估字幕多样性。
• 使用基准重排序与关联（OSR+ORE）作为性能比较的上限，评估弱监督与全监督性能之间的差距。

实验结果

研究问题

• RQ1 是否可以仅使用视频级句子标注有效训练密集视频字幕模型，而无需区域-序列标注或句子到区域-序列的标注？
• RQ2 子模最大化是否能有效从弱监督视觉-词汇激活中发现多样且信息丰富的区域-序列？
• RQ3 弱监督模型在密集字幕生成中的表现与全监督或基准系统相比如何？
• RQ4 生成的字幕多样性在多大程度上匹配或超过人类标注的原始真实字幕？

主要发现

• 所提方法在MSR-VTT验证集上取得37.3的CIDEr得分，显著超越最先进单字幕生成方法。
• 模型生成的最佳单个字幕CIDEr得分为37.3，较MSR-VTT上先前最先进方法高出11.2分。
• 生成字幕的多样性得分（0.501）超过原始20个由人类标注的真实字幕的多样性得分（0.463），表明多样性得到提升。
• 模型性能与基准上限（OSR+ORE）的差距较小，top-5平均精度达到基准的90.4%，表明在弱监督下仍具备强大泛化能力。
• 仅使用视频级标注即实现高性能，证明了弱监督密集视频字幕生成的可行性与有效性。
• 定性结果与多样性评估表明，模型在多个区域和时间片段上均能生成语义多样且上下文相关的字幕。