[论文解读] Understanding Chinese Video and Language via Contrastive Multimodal Pre-Training

Chenyi Lei, Shixian Luo+7 more|arXiv (Cornell University)|Apr 19, 2021

Multimodal Machine Learning Applications被引用 4

一句话总结

本文提出 Victor，一种用于中文视频-语言理解的对比式多模态预训练框架，通过引入新颖的重建与对比代理任务，捕捉复杂的时空与序列关系。在大规模 AlivOL-10M 数据集上预训练后，Victor 在多个下游任务中均达到最先进性能，包括视频检索、分类、推荐与字幕生成。

ABSTRACT

The pre-trained neural models have recently achieved impressive performances in understanding multimodal content. However, it is still very challenging to pre-train neural models for video and language understanding, especially for Chinese video-language data, due to the following reasons. Firstly, existing video-language pre-training algorithms mainly focus on the co-occurrence of words and video frames, but ignore other valuable semantic and structure information of video-language content, e.g., sequential order and spatiotemporal relationships. Secondly, there exist conflicts between video sentence alignment and other proxy tasks. Thirdly, there is a lack of large-scale and high-quality Chinese video-language datasets (e.g., including 10 million unique videos), which are the fundamental success conditions for pre-training techniques. In this work, we propose a novel video-language understanding framework named VICTOR, which stands for VIdeo-language understanding via Contrastive mulTimOdal pRe-training. Besides general proxy tasks such as masked language modeling, VICTOR constructs several novel proxy tasks under the contrastive learning paradigm, making the model be more robust and able to capture more complex multimodal semantic and structural relationships from different perspectives. VICTOR is trained on a large-scale Chinese video-language dataset, including over 10 million complete videos with corresponding high-quality textual descriptions. We apply the pre-trained VICTOR model to a series of downstream applications and demonstrate its superior performances, comparing against the state-of-the-art pre-training methods such as VideoBERT and UniVL. The codes and trained checkpoints will be publicly available to nourish further developments of the research community.

研究动机与目标

• 解决预训练所需的大规模、高质量中文视频-语言数据集匮乏的问题。
• 克服现有视频-语言预训练模型在利用视频与文本中时空与序列关系方面的局限性。
• 通过引入对比学习，缓解视频-句子对齐与其他代理任务之间的冲突。
• 构建一个稳健的预训练框架，以增强中文下游视频-语言任务的多模态表征学习能力。
• 在多样化的下游应用中（包括检索、分类、推荐与字幕生成）验证所提模型的有效性。

提出的方法

• 提出 Victor，一种基于编码器-解码器 Transformer 的视频-语言预训练框架。
• 引入新颖的重建代理任务：掩码帧序建模（MFOM）与掩码句子序建模（MSOM），以捕捉序列结构。
• 设计对比代理任务，包括双分支视频-文本对齐（dual-VSA），以提升鲁棒性并减少不匹配样本对的影响。
• 利用大规模中文视频-语言数据集 AlivOL-10M，该数据集包含超过 1000 万条具有高质量文本描述的视频。
• 通过联合优化重建与对比目标，联合训练模型以实现多模态表征学习。
• 在下游任务中使用 [CLS] token 表示进行判别性任务微调，使用解码器进行生成任务（如字幕生成）。

Figure 1. General proxy tasks that are widely used in existing video-language pre-training methods.

实验结果

研究问题

• RQ1 对比学习是否能通过减少不匹配视频-文本对的干扰，提升视频-语言预训练中的多模态表征学习？
• RQ2 如 MFOM 与 MSOM 等新型代理任务，在多大程度上增强了模型捕捉视频与语言中序列与结构关系的能力？
• RQ3 与现有方法相比，基于大规模、高质量中文视频-语言数据集进行预训练，对下游性能有何影响？
• RQ4 所提出的框架是否能在多样化的视频-语言任务中超越 VideoBERT 与 UniVL 等最先进模型？
• RQ5 通过内部与跨模态帧序建模（Intra- 和 Inter-MFM）建模时空关系，对分类与检索任务的贡献如何？

主要发现

• 在视频检索任务中，Victor 表现最佳，R@10 达到 86.7%，显著优于所有基线模型，包括 UniVL 与 VideoBERT。
• 在多层级视频分类任务中，Victor 在 LeafCate 任务上达到 92.1% 的 Top-1 准确率，在 TopCate 任务上达到 89.3%，优于 M3 与 M4 模型。
• 在视频推荐任务中，Victor 的 AUC 达到 0.892，HR@5 达到 0.721，显著优于 DIN 基线及其他预训练模型。
• 在多模态视频字幕生成任务中，Victor 的 BLEU-4 达到 38.2，Meteor 达到 28.9，Cider 达到 124.1，各项指标均超过 UniVL。
• 消融实验表明，MFOM 与 MSOM 显著提升了序列推理能力，而 dual-VSA 与 MFM 则增强了检索与分类的准确率。
• 在完整 AlivOL-10M 数据集（1000 万条）上训练的结果显著优于 10 万条子集，验证了大规模数据的重要性。

Figure 2. An example of the videos in Alivol -10M dataset. Besides the high-resolution video frames and human-created title, the video also contains a long-text abstract and a related e-commerce product with images. Each video has three types of categories: plot category, coarse-grained product cate