[论文解读] Self-Supervised Video Representation Learning with Space-Time Cubic Puzzles

Dahun Kim, Donghyeon Cho+1 more|arXiv (Cornell University)|Nov 24, 2018

Human Pose and Action Recognition参考文献 27被引用 27

一句话总结

本文提出空间-时间立方体谜题（Space-Time Cubic Puzzles），一种用于在无标签视频数据上训练3D卷积神经网络（3D CNNs）的自监督预训练任务，以学习联合的时空表征。通过重建随机排列的3D时空裁剪块，模型同时学习空间外观与时间动态，其在UCF101和HMDB51数据集上实现了最先进性能，且参数量少于2D CNN的同类方法。

ABSTRACT

Self-supervised tasks such as colorization, inpainting and zigsaw puzzle have been utilized for visual representation learning for still images, when the number of labeled images is limited or absent at all. Recently, this worthwhile stream of study extends to video domain where the cost of human labeling is even more expensive. However, the most of existing methods are still based on 2D CNN architectures that can not directly capture spatio-temporal information for video applications. In this paper, we introduce a new self-supervised task called as extit{Space-Time Cubic Puzzles} to train 3D CNNs using large scale video dataset. This task requires a network to arrange permuted 3D spatio-temporal crops. By completing extit{Space-Time Cubic Puzzles}, the network learns both spatial appearance and temporal relation of video frames, which is our final goal. In experiments, we demonstrate that our learned 3D representation is well transferred to action recognition tasks, and outperforms state-of-the-art 2D CNN-based competitors on UCF101 and HMDB51 datasets.

研究动机与目标

• 通过仅使用无标签视频数据实现自监督表征学习，以应对视频理解中人工标注的高昂成本。
• 开发一种预训练任务，使3D CNN能够同时学习空间外观与时间动态，克服基于2D CNN的自监督方法的局限性。
• 缩小无监督预训练与完全监督的Kinetics预训练在3D CNN视频动作识别中的性能差距。
• 证明尽管参数量更少，使用自监督学习训练的3D CNN仍可超越或匹配基于2D CNN的自监督方法的性能。

提出的方法

• 该方法提出一种新颖的预训练任务——空间-时间立方体谜题，其中将视频片段划分为3D时空裁剪块并进行随机排列。
• 网络被训练以预测排列后6个立方块的原始时空排列，从而迫使模型学习联合的时空表征。
• 网络架构采用3D卷积神经网络（3D CNNs），直接处理时空体积，实现运动与外观的端到端联合学习。
• 训练目标为对3×3×3立方排列中6个立方块的6! = 720种可能排列进行分类损失优化。
• 应用数据增强技术（如随机裁剪、颜色抖动、帧丢弃）以提升模型鲁棒性与泛化能力。
• 采用迁移学习进行评估：将自监督编码器在下游动作识别基准（如UCF101和HMDB51）上进行微调。

实验结果

研究问题

• RQ1 基于3D时空重建的自监督预训练任务是否能有效训练3D CNN以学习有意义的联合时空表征？
• RQ2 与基于2D CNN的自监督方法相比，通过空间-时间立方体谜题学习是否能带来更好的动作识别性能？
• RQ3 使用3D CNN进行自监督预训练，在仅使用Kinetics数据集少量标签的情况下，其性能能在多大程度上接近完全监督的Kinetics预训练？
• RQ4 在捕捉时间动态方面，3D CNN学习到的滤波器与ImageNet和Kinetics预训练模型的滤波器相比有何异同？

主要发现

• 使用3D ResNet-18在UCF101上达到75.3%的top-1准确率，比Odd-One-Out方法高出+15.0%，展现出强大的泛化能力。
• 仅使用Kinetics数据集八分之一的标签，监督预训练即可达到与自监督方法相当的性能，表明标注成本显著降低。
• 与从随机初始化训练相比，自监督模型在UCF101上的性能提升了+23.4%，证明其具备强大的特征学习能力。
• 对学习到的滤波器进行可视化显示，3D滤波器能够捕捉时间动态与结构模式，其形态与Kinetics预训练模型相似，而不同于2D ImageNet滤波器。
• 消融实验表明，随机抖动与分类结合的随机旋转（RWC）能提升性能，表明基于上下文的自监督信号具有实际益处。
• 尽管参数量更少（11M–33M vs. AlexNet模型中的58M），该方法仍优于基于2D CNN的自监督方法，证明其高效且有效。