[论文解读] Video Cloze Procedure for Self-Supervised Spatio-Temporal Learning

Dezhao Luo, Chang Liu+5 more|arXiv (Cornell University)|Jan 2, 2020

Human Pose and Action Recognition参考文献 28被引用 24

一句话总结

本文提出视频完形填空（Video Cloze Procedure, VCP），一种通过掩码视频片段、应用多种时空操作生成'选项'并训练3D-CNN预测操作类型的自监督方法，以学习丰富的时空表征。VCP在动作识别和视频检索基准上达到最先进性能，显著优于以往的自监督方法。

ABSTRACT

We propose a novel self-supervised method, referred to as Video Cloze Procedure (VCP), to learn rich spatial-temporal representations. VCP first generates "blanks" by withholding video clips and then creates "options" by applying spatio-temporal operations on the withheld clips. Finally, it fills the blanks with "options" and learns representations by predicting the categories of operations applied on the clips. VCP can act as either a proxy task or a target task in self-supervised learning. As a proxy task, it converts rich self-supervised representations into video clip operations (options), which enhances the flexibility and reduces the complexity of representation learning. As a target task, it can assess learned representation models in a uniform and interpretable manner. With VCP, we train spatial-temporal representation models (3D-CNNs) and apply such models on action recognition and video retrieval tasks. Experiments on commonly used benchmarks show that the trained models outperform the state-of-the-art self-supervised models with significant margins.

研究动机与目标

• 为解决大规模视频数据集在动作识别与视频检索任务中人工标注的高昂成本与复杂性问题。
• 开发一种自监督框架，学习比现有代理任务更具鲁棒性与判别性的时空表征。
• 通过将VCP作为目标任务，引入统一且可解释的自监督表征学习评估协议。
• 通过在预训练阶段引入多样化的时空操作，提升模型灵活性与表征质量。

提出的方法

• VCP通过从视频序列中随机掩码视频片段生成'空白'。
• 通过在掩码片段上应用多种时空操作（如帧乱序、颜色抖动、裁剪等）生成'选项'。
• 使用周围上下文作为输入，训练3D-CNN预测掩码片段所应用的操作类别。
• 该方法在自监督学习中同时作为代理任务（用于预训练）和目标任务（用于模型评估）。
• 该框架被应用于多种3D-CNN架构（C3D、R3D、R(2+1)D），并在动作识别与视频检索任务上进行评估。
• 通过从主干网络提取特征，使用标准协议对模型在下游任务上进行微调与评估。

实验结果

研究问题

• RQ1 基于视频完形填空的自监督代理任务是否能学习到比现有方法更具判别性的时空表征？
• RQ2 与最先进的自监督方法（如VCOP）相比，VCP在表征质量与泛化能力方面表现如何？
• RQ3 VCP能否作为评估自监督表征模型的可靠且可解释的目标任务？
• RQ4 在VCP中使用多样化时空操作是否能提升下游视频理解任务的性能？

主要发现

• 在UCF101数据集上，VCP训练的C3D模型达到68.5%的top-1准确率，比之前的SOTA方法VCOP高出2.9个百分点。
• 在HMDB51数据集上，VCP训练的C3D模型达到32.5%的top-1准确率，较VCOP基线提升4.1个百分点。
• 使用R3D主干网络时，VCP在UCF101上较随机初始化提升11.5%的准确率，较VCOP提升1.1个百分点。
• 在UCF101的视频检索任务中，VCP使用R3D主干达到68.1%的top-50准确率，较VCOP高出1.6个百分点，较随机初始化高出16.2个百分点。
• 在HMDB51上，VCP使用R3D主干达到76.4%的top-50准确率，较VCOP提升7.5个百分点，较随机初始化提升8.5个百分点。
• 图5的定性结果表明，VCP模型检索到的视频在语义上比基线方法更相关。