[论文解读] Self-supervised Video Representation Learning by Uncovering Spatio-temporal Statistics

Jiangliu Wang, Jianbo Jiao+4 more|arXiv (Cornell University)|Aug 31, 2020

Human Pose and Action Recognition参考文献 82被引用 23

一句话总结

该论文提出了一种自监督视频表征学习方法，能够从无标签视频片段中揭示时空统计摘要——如主要运动区域及其方向，以及颜色多样性或稳定性最高的区域——并利用空间分割编码粗略位置，通过训练3D CNN来预测这些抽象统计量，从而在多种主干网络上实现动作识别、视频检索、动态场景识别和动作相似性标注任务的最先进性能，相较于之前的自监督方法在C3D上最高提升8.1%。

ABSTRACT

This paper proposes a novel pretext task to address the self-supervised video representation learning problem. Specifically, given an unlabeled video clip, we compute a series of spatio-temporal statistical summaries, such as the spatial location and dominant direction of the largest motion, the spatial location and dominant color of the largest color diversity along the temporal axis, etc. Then a neural network is built and trained to yield the statistical summaries given the video frames as inputs. In order to alleviate the learning difficulty, we employ several spatial partitioning patterns to encode rough spatial locations instead of exact spatial Cartesian coordinates. Our approach is inspired by the observation that human visual system is sensitive to rapidly changing contents in the visual field, and only needs impressions about rough spatial locations to understand the visual contents. To validate the effectiveness of the proposed approach, we conduct extensive experiments with four 3D backbone networks, i.e., C3D, 3D-ResNet, R(2+1)D and S3D-G. The results show that our approach outperforms the existing approaches across these backbone networks on four downstream video analysis tasks including action recognition, video retrieval, dynamic scene recognition, and action similarity labeling. The source code is publicly available at: https://github.com/laura-wang/video_repres_sts.

研究动机与目标

• 为解决监督视频学习的局限性，即需要昂贵的人工标注且生成的任务特定表征泛化能力差。
• 开发一种自监督的前置任务，以学习通用且可迁移的视频表征，无需人工标注标签。
• 通过聚焦高层统计摘要而非密集像素级预测，提升学习效率和表征质量。
• 借鉴人类视觉系统特性——如对快速变化的敏感性及粗略空间感知能力——设计更具生物合理性和有效性的表征学习目标。
• 在多种下游任务和主干架构上验证该方法，证明其鲁棒性与泛化能力。

提出的方法

• 该方法设计了一种新颖的前置任务，从无标签视频片段中提取时空统计摘要，包括运动最大区域及其方向，以及颜色多样性或稳定性最高的区域及其主导颜色。
• 使用多种分割模式（如网格、随机）编码空间位置，而非精确的笛卡尔坐标，以反映人类感知的粗略空间意识。
• 使用3D卷积神经网络（如C3D、3D-ResNet、R(2+1)D、S3D-G）从输入视频帧预测这些统计标签，以摘要作为监督信号。
• 通过逐步增加空间分割模式的复杂度，应用课程学习策略，以缓解训练难度并提升表征质量。
• 通过分别训练运动统计（如运动幅度和方向）与外观统计（如颜色差异区域的主导颜色）分支，学习联合的外观与运动表征。
• 最终的视频表征从网络最后几层提取，并直接用作下游任务的特征，无需微调。

实验结果

研究问题

• RQ1 从无标签视频中学习高层时空统计摘要，是否能产生更通用且可迁移的视频表征？
• RQ2 建模人类视觉系统对快速变化和粗略空间位置的敏感性，是否能改善自监督视频表征学习？
• RQ3 基于抽象统计摘要的前置任务，是否能超越基于密集预测的自监督方法（如未来帧预测或帧序预测）？
• RQ4 该方法在动作识别、视频检索和动作相似性标注等多样化下游任务中的泛化能力如何？
• RQ5 基于空间分割复杂度的课程学习策略，是否能提升最终表征质量？

主要发现

• 该方法在动作识别任务中达到最先进性能，在C3D上较先前最先进方法Geometry [16] 提升8.1%，在R3D-18上提升6.0%，在R(2+1)D上提升7.4%。
• 在视频检索任务中，使用S3D-G主干网络在Kinetics-400数据集上达到89.4%的top-1准确率，超越先前的自监督方法。
• 在动态场景识别任务中，使用C3D达到95.0%准确率，使用R(2+1)D达到94.3%，显著优于先前的自监督方法和手工设计方法。
• 在具有挑战性的ASLAN动作相似性标注基准上，该方法以R(2+1)D主干达到62.1%的准确率，创下新的自监督最先进基线，优于HOF和HOG等手工特征。
• 该方法展现出强大的可迁移性：在不同主干网络（C3D、R3D-18、R(2+1)D、S3D-G）上性能均保持高水平，表明对网络架构选择具有鲁棒性。
• 消融实验证实，通过逐步增加分割复杂度的课程学习策略能提升性能，验证了该渐进式监督设计的合理性。