[论文解读] Streamlined Dense Video Captioning

Jonghwan Mun, Linjie Yang+3 more|arXiv (Cornell University)|Apr 8, 2019

Multimodal Machine Learning Applications参考文献 36被引用 7

一句话总结

本文提出了一种简化的密集视频字幕框架，通过首先检测有序的事件提议序列，然后使用强化学习优化的字幕生成网络，按顺序生成连贯且具备上下文感知能力的字幕，从而建模事件之间的时序依赖关系。该方法在ActivityNet Captions数据集上实现了最先进性能，通过结合事件级和视频段级奖励，显著提升了字幕的连贯性和准确性。

ABSTRACT

Dense video captioning is an extremely challenging task since accurate and coherent description of events in a video requires holistic understanding of video contents as well as contextual reasoning of individual events. Most existing approaches handle this problem by first detecting event proposals from a video and then captioning on a subset of the proposals. As a result, the generated sentences are prone to be redundant or inconsistent since they fail to consider temporal dependency between events. To tackle this challenge, we propose a novel dense video captioning framework, which models temporal dependency across events in a video explicitly and leverages visual and linguistic context from prior events for coherent storytelling. This objective is achieved by 1) integrating an event sequence generation network to select a sequence of event proposals adaptively, and 2) feeding the sequence of event proposals to our sequential video captioning network, which is trained by reinforcement learning with two-level rewards at both event and episode levels for better context modeling. The proposed technique achieves outstanding performances on ActivityNet Captions dataset in most metrics.

研究动机与目标

• 为解决在视频中生成多个相互依赖事件的连贯、上下文一致字幕的挑战。
• 克服现有方法将事件字幕生成独立处理所导致的冗余与不一致问题。
• 通过自适应事件序列生成与顺序字幕生成，显式建模事件之间的时序依赖关系。
• 通过在字幕生成过程中整合先前事件的视觉与语言上下文，提升字幕质量。
• 通过新颖的双层奖励训练方案，在ActivityNet Captions基准上实现最先进性能。

提出的方法

• 提出事件序列生成网络（ESGN），从候选检测中自适应选择事件提议序列，减少冗余并建模时序顺序。
• 采用基于层次RNN的顺序字幕生成网络（SCN），通过依赖先前事件及其描述来保证上下文连贯性。
• 通过强化学习训练字幕网络，使用双层奖励机制：事件级奖励用于单事件准确性，视频段级奖励用于整体故事连贯性。
• 利用预训练CNN的视觉特征和先前字幕的语言特征，作为生成每个新字幕的条件。
• 采用两阶段训练流程：监督预训练后，使用稀疏密集奖励进行强化学习微调。
• 设计一种奖励函数，结合BLEU、METEOR和CIDEr得分，在事件和视频段两个层面优化流畅性与连贯性。

实验结果

研究问题

• RQ1 建模事件之间的时序依赖关系是否能提升密集视频字幕的连贯性？
• RQ2 基于先前事件的顺序字幕生成是否能比独立字幕生成产生更准确、更一致的描述？
• RQ3 与单层监督相比，双层（事件级与视频段级）奖励在多大程度上提升了字幕质量？
• RQ4 是否能通过统一框架联合检测事件序列并生成字幕，超越两阶段流水线在密集视频字幕任务中的表现？
• RQ5 所提方法在ActivityNet Captions等标准基准上与最先进方法相比表现如何？

主要发现

• 所提方法SDVC在ActivityNet Captions测试集上取得8.82的METEOR得分，显著优于先前最先进方法。
• 消融实验表明，使用事件序列生成网络（ESGN）将提议平均数量从77.99降低至2.85，同时使METEOR提升0.85分。
• 采用层次RNN的顺序字幕生成（ESGN-SCN）相比独立字幕生成（ESGN-Ind）使METEOR提升0.55分，证明了上下文建模的优势。
• 结合事件级与视频段级奖励的强化学习训练（ESGN-SCN-RL）达到最高METEOR得分8.82，证实双层奖励的有效性。
• 定性结果表明，SDVC通过正确使用代词（如“they”）和时间连接词（如“continue”）生成了更连贯的字幕，而基线模型未能有效追踪语言与时间依赖关系。
• 该模型仅使用基础视觉特征即取得具有竞争力的结果，优于依赖音频和光流等额外模态的方法。