[论文解读] Self-supervised Video Representation Learning by Context and Motion Decoupling

Lianghua Huang, Yu Liu+4 more|arXiv (Cornell University)|Apr 2, 2021

Human Pose and Action Recognition参考文献 60被引用 5

一句话总结

本文提出了一种自监督视频表征学习方法，通过使用压缩视频（如 H.264）中的 I 帧和运动向量，显式地解耦上下文与运动监督。通过对比学习联合优化对比性上下文匹配任务与逐点运动预测任务，该方法实现了最先进性能，在 UCF101 和 HMDB51 上的视频检索召回率分别提升了 16.0% 和 11.1% 的绝对值。

ABSTRACT

A key challenge in self-supervised video representation learning is how to effectively capture motion information besides context bias. While most existing works implicitly achieve this with video-specific pretext tasks (e.g., predicting clip orders, time arrows, and paces), we develop a method that explicitly decouples motion supervision from context bias through a carefully designed pretext task. Specifically, we take the keyframes and motion vectors in compressed videos (e.g., in H.264 format) as the supervision sources for context and motion, respectively, which can be efficiently extracted at over 500 fps on the CPU. Then we design two pretext tasks that are jointly optimized: a context matching task where a pairwise contrastive loss is cast between video clip and keyframe features; and a motion prediction task where clip features, passed through an encoder-decoder network, are used to estimate motion features in a near future. These two tasks use a shared video backbone and separate MLP heads. Experiments show that our approach improves the quality of the learned video representation over previous works, where we obtain absolute gains of 16.0% and 11.1% in video retrieval recall on UCF101 and HMDB51, respectively. Moreover, we find the motion prediction to be a strong regularization for video networks, where using it as an auxiliary task improves the accuracy of action recognition with a margin of 7.4%~13.8%.

研究动机与目标

• 为解决自监督视频表征学习中上下文偏差的挑战，通过显式分离上下文与运动监督。
• 开发一种可扩展、高效的掩码任务，避免使用光学流或密集轨迹等高成本特征。
• 通过共享视频主干网络与独立分支，联合优化上下文匹配与运动预测任务，提升视频表征质量。
• 验证运动预测在微调阶段对下游动作识别任务具有强正则化作用。
• 证明使用压缩视频组件（I 帧和运动向量）作为自监督学习的监督信号的有效性。

提出的方法

• 使用压缩视频（如 H.264）中的 I 帧作为上下文表征的监督信号，可在 CPU 上以超过 500 fps 的速度提取。
• 使用相同压缩视频中的运动向量图作为运动表征的监督信号，实现高效且可扩展的特征提取。
• 设计一种基于噪声对比估计（NCE）损失的上下文匹配任务，用于对比视频片段与对应 I 帧的全局特征。
• 引入一种运动预测任务，采用编码器-解码器网络在每个时空位置上逐点预测未来运动特征。
• 应用对比学习比较预测与真实运动特征，提升训练稳定性与迁移性能。
• 通过共享视频主干网络与独立的多层感知机（MLP）头，联合优化上下文匹配与运动预测两个掩码任务。

实验结果

研究问题

• RQ1 与隐式方法相比，显式解耦上下文与运动监督是否能提升自监督视频表征学习性能？
• RQ2 标准视频压缩技术（如 H.264）中的 I 帧与运动向量是否可作为自监督学习的有效、高效且可扩展的监督信号？
• RQ3 联合优化上下文匹配与运动预测任务是否能提升在动作识别与视频检索任务上的下游性能？
• RQ4 在监督微调过程中，运动预测在多大程度上可作为视频网络的正则化器？
• RQ5 预训练任务（上下文匹配与运动预测）与下游迁移性能的相关性如何？

主要发现

• 该方法在 UCF101 上实现 16.0% 的 R@1 视频检索召回率绝对提升，在 HMDB51 上实现 11.1% 的提升，优于先前最先进方法。
• 在 Kinetics400 上预训练后，该模型在 UCF101 上的准确率比之前工作高出 4.8% 至 7.1%，在 HMDB51 上高出 5.4% 至 8.0%。
• 在 UCF101 和 HMDB51 上，使用运动预测作为辅助任务可使不同主干网络的动作识别准确率提升 7.4% 至 13.8%。
• 预训练任务（上下文匹配与运动预测）的性能与下游迁移性能高度相关，验证了其有效性。
• 该框架在不同主干网络（C3D、R(2+1)D-26、R3D-26）上均表现出良好泛化能力，持续在动作识别与视频检索任务上优于基线模型。
• 发现运动预测是一种强正则化器，能显著提升监督微调的准确率，尤其在 HMDB51 等具有挑战性的数据集上效果更明显。