[论文解读] Self-supervised Spatio-temporal Representation Learning for Videos by Predicting Motion and Appearance Statistics

Jiangliu Wang, Jianbo Jiao+4 more|arXiv (Cornell University)|Apr 7, 2019

Human Pose and Action Recognition参考文献 45被引用 9

一句话总结

该论文提出了一种用于视频的自监督时空表征学习方法，通过利用空间和时间统计模式预测运动和外观统计量（如主导运动区域、其方向以及色彩多样性）来实现。通过在无标签视频上使用这些直观且符合人类认知的监督信号对C3D进行预训练，该方法在动作识别（UCF101上达到61.2%）以及动作相似性标注和动态场景识别等迁移学习任务中均取得了最先进性能。

ABSTRACT

We address the problem of video representation learning without human-annotated labels. While previous efforts address the problem by designing novel self-supervised tasks using video data, the learned features are merely on a frame-by-frame basis, which are not applicable to many video analytic tasks where spatio-temporal features are prevailing. In this paper we propose a novel self-supervised approach to learn spatio-temporal features for video representation. Inspired by the success of two-stream approaches in video classification, we propose to learn visual features by regressing both motion and appearance statistics along spatial and temporal dimensions, given only the input video data. Specifically, we extract statistical concepts (fast-motion region and the corresponding dominant direction, spatio-temporal color diversity, dominant color, etc.) from simple patterns in both spatial and temporal domains. Unlike prior puzzles that are even hard for humans to solve, the proposed approach is consistent with human inherent visual habits and therefore easy to answer. We conduct extensive experiments with C3D to validate the effectiveness of our proposed approach. The experiments show that our approach can significantly improve the performance of C3D when applied to video classification tasks. Code is available at https://github.com/laura-wang/video_repres_mas.

研究动机与目标

• 解决在无人工标注标签的情况下学习强大时空视频表征的挑战。
• 克服先前自监督方法仅作用于单帧或双帧的局限性，使其不适合需要时间建模的视频任务。
• 设计一种直观且与人类视觉感知一致的自监督任务，以实现对C3D等3D卷积神经网络的有效预训练。
• 证明所学习表征在动作识别之外的下游视频理解任务（如动态场景识别和动作相似性标注）中的可迁移性。

提出的方法

• 设计一种自监督任务，用于预测从视频片段中提取的运动和外观统计特征，例如最主导的运动区域及其方向，以及色彩多样性或稳定性高的区域。
• 使用多种网格模式将每帧视频划分为空间区域，以提取局部时空统计量。
• 将这些统计标签（如主导运动向量、区域内的主导颜色、时间色彩方差）作为预训练期间的监督信号。
• 训练3D卷积神经网络（C3D）从原始视频输入回归这些数值统计量，从而实现时空特征的端到端学习。
• 借鉴人类视觉系统中运动和外观通路的生物学合理性，指导统计目标的设计。
• 使用这些统计量预测任务在大规模无标签视频数据上对C3D网络进行预训练，随后在下游任务中进行微调或作为特征提取器使用。

实验结果

研究问题

• RQ1 基于运动和外观直观且符合人类认知的统计模式的自监督学习，能否提升视频中的时空表征学习？
• RQ2 与随机初始化或有监督预训练相比，预测运动和外观统计量是否能带来更好的视频识别任务迁移性能？
• RQ3 经过自监督预训练的C3D模型能否在动作相似性标注和动态场景识别等下游任务中实现有效泛化？
• RQ4 在性能和特征质量方面，该方法与现有自监督视频学习方法相比如何？

主要发现

• 使用所提出的自监督任务对C3D进行预训练后，在UCF101上达到61.2%的top-1准确率，显著优于从随机初始化训练的模型（45.4%）。
• 在ASLAN数据集上进行动作相似性标注任务时，该自监督预训练的C3D模型准确率达到59.4%，优于从人工标注标签训练的C3D模型（58.3%）。
• 在UCF101上进行微调后，该自监督预训练模型在ASLAN数据集上达到62.3%的准确率，甚至超过手工设计的特征（如STIP，准确率为60.9%）。
• 在YUPENN动态场景识别数据集上，该自监督C3D模型达到90.2%的准确率，优于先前的自监督方法（86.9%）和手工特征。
• 该模型在零样本迁移中表现良好：在预训练期间从未接触ASLAN数据集的情况下，仍达到59.4%的准确率，证明了其强大的可迁移性。
• 性能提升归因于模型通过生物启发的统计预测任务学习到了更具上下文感知性和语义意义的时空特征。