[论文解读] Video Captioning via Hierarchical Reinforcement Learning

Xin Wang, Wenhu Chen+3 more|arXiv (Cornell University)|Nov 29, 2017

Multimodal Machine Learning Applications参考文献 43被引用 22

一句话总结

该论文提出了一种用于视频字幕生成的分层强化学习（HRL）框架，将长视频字幕生成过程分解为高层目标规划与低层动作生成。通过使用Manager模块设定子目标，以及使用Worker模块基于这些目标生成描述性文本片段，该模型在MSR-VTT数据集上达到最先进性能，并在新提出的大型细粒度视频字幕数据集Charades Captions上取得最先进结果。

ABSTRACT

Video captioning is the task of automatically generating a textual description of the actions in a video. Although previous work (e.g. sequence-to-sequence model) has shown promising results in abstracting a coarse description of a short video, it is still very challenging to caption a video containing multiple fine-grained actions with a detailed description. This paper aims to address the challenge by proposing a novel hierarchical reinforcement learning framework for video captioning, where a high-level Manager module learns to design sub-goals and a low-level Worker module recognizes the primitive actions to fulfill the sub-goal. With this compositional framework to reinforce video captioning at different levels, our approach significantly outperforms all the baseline methods on a newly introduced large-scale dataset for fine-grained video captioning. Furthermore, our non-ensemble model has already achieved the state-of-the-art results on the widely-used MSR-VTT dataset.

研究动机与目标

• 解决在包含多个细粒度动作的视频中生成详细且时间上连贯的字幕的挑战。
• 通过使用强化学习优化长期字幕质量，克服自回归序列模型中的暴露偏差。
• 通过两级智能体架构（高层Manager与低层Worker）实现在视频字幕生成中的分层控制。
• 提出一种新颖的训练范式，结合随机与确定性策略梯度，以训练分层智能体。
• 在新引入的大型细粒度视频字幕数据集Charades Captions上验证该方法。

提出的方法

• 采用分层强化学习框架，其中Manager网络以较低的时间分辨率运行，用于设定子目标。
• 使用Worker网络逐词生成文本片段，条件依赖于Manager提供的目标。
• 集成内部评论家（internal critic）以评估生成的文本片段是否达成目标，提供密集的奖励塑造。
• 应用分层注意力机制：Manager关注更广泛的时间上下文，而Worker聚焦于局部视频帧。
• 使用策略梯度方法的组合进行训练，初始阶段基于交叉熵预训练模型进行热启动。
• 推理时采用束搜索（beam search），束大小为5，以生成多样且高质量的字幕输出。

实验结果

研究问题

• RQ1 分层强化学习框架是否能提升复杂多动作视频中字幕的质量与连贯性？
• RQ2 分层控制（将目标规划与动作执行分离）在多大程度上增强了视频字幕中长程时间依赖关系的建模能力？
• RQ3 与标准最大似然训练相比，分层强化学习方法在多大程度上减少了暴露偏差？
• RQ4 所提出的框架是否能泛化到细粒度与一般视频字幕基准任务？
• RQ5 内部评论家在不依赖外部奖励的情况下，是否能有效引导学习过程？

主要发现

• 所提出的HRL模型在MSR-VTT数据集上无需集成即达到最先进性能，优于以往最先进方法。
• 在新引入的Charades Captions数据集上，HRL模型在CIDEr及其他字幕生成指标上显著优于所有基线方法。
• 定性分析显示，HRL模型生成的字幕更加准确、描述性更强，且在语境上更具依据性，尤其在捕捉空间与时间关系方面表现优异。
• 该模型能正确识别并描述复杂、顺序性的动作，如“坐在床上”、“将笔记本电脑放入包中”和“走出房间”，并生成连贯的单一字幕。
• 注意力机制的可视化结果证实，Manager与Worker分别关注不同的时间范围，验证了分层设计的有效性。
• 内部评论家有效塑造了学习过程，使模型能够学习到有意义的子目标完成策略，从而整体提升字幕质量。