[论文解读] RSPNet: Relative Speed Perception for Unsupervised Video Representation Learning

Peihao Chen, Deng Huang+6 more|arXiv (Cornell University)|Oct 27, 2020

Human Pose and Action Recognition被引用 16

一句话总结

RSPNet 提出了一种新颖的无监督视频表征学习框架，通过相对播放速度感知（RSP）和面向外观的视频实例对比（A-VID）联合学习运动与外观特征。通过将绝对速度预测替换为相对速度比较，并引入一种速度增强的实例对比任务，RSPNet 在未使用任何标注预训练数据的情况下，于 UCF101 上实现了 93.7% 的动作识别准确率。

ABSTRACT

We study unsupervised video representation learning that seeks to learn both motion and appearance features from unlabeled video only, which can be reused for downstream tasks such as action recognition. This task, however, is extremely challenging due to 1) the highly complex spatial-temporal information in videos; and 2) the lack of labeled data for training. Unlike the representation learning for static images, it is difficult to construct a suitable self-supervised task to well model both motion and appearance features. More recently, several attempts have been made to learn video representation through video playback speed prediction. However, it is non-trivial to obtain precise speed labels for the videos. More critically, the learnt models may tend to focus on motion pattern and thus may not learn appearance features well. In this paper, we observe that the relative playback speed is more consistent with motion pattern, and thus provide more effective and stable supervision for representation learning. Therefore, we propose a new way to perceive the playback speed and exploit the relative speed between two video clips as labels. In this way, we are able to well perceive speed and learn better motion features. Moreover, to ensure the learning of appearance features, we further propose an appearance-focused task, where we enforce the model to perceive the appearance difference between two video clips. We show that optimizing the two tasks jointly consistently improves the performance on two downstream tasks, namely action recognition and video retrieval. Remarkably, for action recognition on UCF101 dataset, we achieve 93.7% accuracy without the use of labeled data for pre-training, which outperforms the ImageNet supervised pre-trained model. Code and pre-trained models can be found at https://github.com/PeihaoChen/RSPNet.

研究动机与目标

• 解决自监督视频表征学习中播放速度标签不精确且不一致的挑战。
• 通过使用片段间的相对速度作为更稳定且一致的监督信号，改进运动特征学习。
• 通过扩展的实例对比任务，明确鼓励模型学习具有判别性的外观特征。
• 联合优化运动与外观表征学习，以提升下游任务性能。
• 在不使用任何标注数据进行预训练的情况下，展示在动作识别和视频检索任务上的最先进性能。

提出的方法

• 提出相对速度感知（RSP）作为先验任务，模型预测来自同一视频的两个片段之间的相对播放速度，而非绝对速度。
• 采用对比学习设置，并通过投影头将特征映射到 128D 空间以进行相似性计算。
• 在 A-VID 任务中引入速度增强策略，生成在保持外观不变的同时改变运动的正样本片段对，从而增强外观特征学习。
• 采用双分支网络结构，分别配备用于运动（RSP）和外观（A-VID）任务的独立投影头，实现独立优化。
• 利用类激活映射（CAM）可视化感兴趣区域（RoI）注意力，显示模型在运动丰富区域和具有判别性的外观区域上的关注。
• 在 Kinetics-400 上进行训练，并在 UCF101 上评估，使用 top-k 准确率和检索性能作为指标。

实验结果

研究问题

• RQ1 相对播放速度是否能为运动表征学习提供比绝对速度预测更一致且更有效的监督？
• RQ2 如何有效适应实例对比方法至视频领域，以促进外观特征的学习？
• RQ3 联合优化相对速度感知与面向外观的对比学习是否能提升下游视频理解性能？
• RQ4 模型是否学会在每个先验任务中关注具有判别性的时空区域？
• RQ5 使用 RSPNet 进行无监督预训练是否能在不使用任何标注数据的情况下实现动作识别的最先进性能？

主要发现

• RSPNet 仅使用在 Kinetics-400 上的无监督预训练，未使用任何标注数据，在 UCF101 上实现了 93.7% 的 top-1 准确率，用于动作识别。
• 该方法在 UCF101 上的所有 top-k 检索指标上均优于最先进基线方法，包括 Pace。
• 定性检索结果表明，模型能够检索出具有高度相似运动和外观的视频，表明联合特征学习效果良好。
• RoI 可视化结果确认，RSP 头关注于运动丰富的区域（例如移动的肢体），而 A-VID 头则关注于具有判别性的外观线索（例如衣物图案、面部特征）。
• 使用相对速度标签减少了绝对速度预测中存在的标签不一致问题，从而实现了更稳定且有效的运动表征学习。
• A-VID 中的速度增强策略成功促使模型学习到对运动变化具有鲁棒性的外观不变特征，提升了对运动变化的鲁棒性。