[论文解读] Open-book Video Captioning with Retrieve-Copy-Generate Network

Ziqi Zhang, Zhongang Qi+5 more|arXiv (Cornell University)|Mar 9, 2021

Multimodal Machine Learning Applications参考文献 33被引用 8

一句话总结

本文提出开放书式视频字幕生成（Open-book Video Captioning），一种新颖范式，通过从文本语料库中检索相关句子来引导生成过程，从而提升视频字幕质量。Retrieve-Copy-Generate（RCG）网络采用跨模态检索器获取与视频相关的句子，并利用复制机制生成器动态选择复制或生成字幕，最终在MSR-VTT和VATEX数据集上分别取得52.9和57.5的CIDEr得分，达到当前最优性能。

ABSTRACT

Due to the rapid emergence of short videos and the requirement for content understanding and creation, the video captioning task has received increasing attention in recent years. In this paper, we convert traditional video captioning task into a new paradigm, \ie, Open-book Video Captioning, which generates natural language under the prompts of video-content-relevant sentences, not limited to the video itself. To address the open-book video captioning problem, we propose a novel Retrieve-Copy-Generate network, where a pluggable video-to-text retriever is constructed to retrieve sentences as hints from the training corpus effectively, and a copy-mechanism generator is introduced to extract expressions from multi-retrieved sentences dynamically. The two modules can be trained end-to-end or separately, which is flexible and extensible. Our framework coordinates the conventional retrieval-based methods with orthodox encoder-decoder methods, which can not only draw on the diverse expressions in the retrieved sentences but also generate natural and accurate content of the video. Extensive experiments on several benchmark datasets show that our proposed approach surpasses the state-of-the-art performance, indicating the effectiveness and promising of the proposed paradigm in the task of video captioning.

研究动机与目标

• 解决传统视频字幕生成方法仅依赖视觉输入、生成通用字幕的局限性。
• 通过在推理阶段引入外部动态知识源，突破端到端模型固定知识领域的限制。
• 通过在生成过程中融合检索到的文本表达与视觉特征，提升字幕的多样性与准确性。
• 开发一种灵活可扩展的框架，支持检索与生成模块的端到端训练或独立训练。

提出的方法

• 基于双编码器架构的可插拔视频到文本检索器，利用运动与外观特征从大规模文本语料库中检索语义相关的句子。
• 检索器经过训练，能够将视频片段与相关自然语言句子匹配，重点关注动作、物体等关键视觉概念。
• 复制机制生成器动态决定是生成新词，还是直接从多个检索到的句子中复制表达。
• 生成器同时关注视觉特征与检索到的句子，实现结合事实准确性与语言多样性的混合生成。
• RCG框架支持检索器与生成器的端到端训练或独立训练，提升灵活性与可扩展性。
• 模型在训练数据上进行微调，使用标准视频特征，并通过标准字幕损失函数进行优化。

Figure 1: Pipeline comparison of the existing methods and our method. Our generation is produced based on not only video content but also the cues of multi-retrieved sentences searched from text corpus by a cross-modal retriever. Pluggable retriever provides guidance and expansion for the generating

实验结果

研究问题

• RQ1 外部检索到的文本句子是否能超越视频中可见内容，显著提升生成字幕的质量与多样性？
• RQ2 跨模态检索器在大规模文本语料库中识别与视频语义相关的句子的效率如何？
• RQ3 与纯生成方法相比，从多个检索句子中动态复制在多大程度上提升了字幕的准确性与流畅性？
• RQ4 RCG框架是否支持端到端或独立训练？不同训练方式对性能有何影响？
• RQ5 开放书式范式在多样化视频数据集上是否具有良好泛化能力，特别是在语义冗余度较高的数据集中？

主要发现

• RCG模型在MSR-VTT数据集上取得52.9的CIDEr得分，相比之前SOTA方法ORG-TRL提升3.9%（相对增益）。
• 在VATEX数据集上，模型达到57.5的CIDEr得分，相比ORG-TRL提升15.7%（相对增益），表明在语义冗余视频上表现强劲。
• +FixRet变体在MSR-VTT上取得52.3的CIDEr得分，在VATEX上取得56.8，证明固定预训练检索器的有效性。
• +TrainRet变体通过联合微调检索器与生成器，达到最高性能，证实端到端优化的优势。
• 定性分析表明，模型能有效复制有用短语如“从面罩中呼气”，并纠正通用描述如“飞盘游戏”为“玩接球游戏”。
• 热力图可视化显示，复制机制聚焦于相关关键词，检索注意力权重集中于显著概念如“潜水员”和“海水”。

Figure 2: Overview of the proposed Retrieve-Copy-Generate Network for Open-book Video Captioning. The left side is the pipeline of our method, which consists of two components: the Video-to-Text Retriever that searches for the video-content-relevant sentences from the corpus containing all the sente