[论文解读] Self-supervised Motion Learning from Static Images

Ziyuan Huang, Shiwei Zhang+4 more|arXiv (Cornell University)|Apr 1, 2021

Human Pose and Action Recognition参考文献 58被引用 7

一句话总结

该论文提出MoSI，一种自监督框架，通过在静态图像上生成具有方向和速度变化的伪运动，直接训练视频模型学习运动表征。通过引入静态掩码以制造不一致的局部运动模式，MoSI迫使模型关注显著的运动区域，在UCF101和HMDB51等动作识别基准上实现最先进性能，且无需微调。

ABSTRACT

Motions are reflected in videos as the movement of pixels, and actions are essentially patterns of inconsistent motions between the foreground and the background. To well distinguish the actions, especially those with complicated spatio-temporal interactions, correctly locating the prominent motion areas is of crucial importance. However, most motion information in existing videos are difficult to label and training a model with good motion representations with supervision will thus require a large amount of human labour for annotation. In this paper, we address this problem by self-supervised learning. Specifically, we propose to learn Motion from Static Images (MoSI). The model learns to encode motion information by classifying pseudo motions generated by MoSI. We furthermore introduce a static mask in pseudo motions to create local motion patterns, which forces the model to additionally locate notable motion areas for the correct classification.We demonstrate that MoSI can discover regions with large motion even without fine-tuning on the downstream datasets. As a result, the learned motion representations boost the performance of tasks requiring understanding of complex scenes and motions, i.e., action recognition. Extensive experiments show the consistent and transferable improvements achieved by MoSI. Codes will be soon released.

研究动机与目标

• 解决训练运动感知视频模型时标注视频数据有限的挑战。
• 实现在不依赖真实视频标注的前提下，自监督学习运动表征。
• 通过伪运动生成，学习定位显著运动区域，以提升动作识别性能。
• 证明静态图像数据集（如ImageNet）可有效预训练视频模型，用于下游动作理解任务。

提出的方法

• 通过在预设方向和速度上施加合成运动，从静态图像生成伪运动。
• 训练视频模型以分类这些伪运动的方向和速度，从而编码运动模式。
• 在伪运动序列中引入静态掩码，以在掩码区域与未掩码区域之间制造不一致的运动。
• 利用掩码后的伪运动引导模型关注局部运动区域，隐式学习空间注意力。
• 采用标准视频架构（如R-2D3D、R(2+1)D）作为主干网络，在ImageNet上使用MoSI进行预训练。
• 在预训练过程中应用随机颜色抖动和空间裁剪等数据增强方法，以提升鲁棒性。

实验结果

研究问题

• RQ1 能否通过自监督学习从静态图像中有效学习运动表征？
• RQ2 在伪运动中引入静态掩码是否能提升模型定位显著运动区域的能力？
• RQ3 在ImageNet上使用MoSI进行预训练是否能在下游动作识别任务中实现具有竞争力的性能，且无需微调？
• RQ4 与基于视频的自监督方法相比，MoSI在运动表征质量和迁移性能方面表现如何？
• RQ5 MoSI在多大程度上减少了对大规模视频标注数据的依赖，以实现视频表征学习？

主要发现

• MoSI在HMDB51上取得最先进性能，使用R(2+1)D主干网络实现51.8%的top-1准确率，优于先前方法。
• 在UCF101上，MoSI使用相同R(2+1)D主干网络实现82.8%的top-1准确率，展现出强大的迁移能力。
• 模型无需微调即可学习定位显著运动区域，Grad-CAM可视化结果清晰突出了运动区域。
• 即使每类仅使用30张图像进行MoSI在ImageNet上的预训练，HMDB51上仍达到47.6%的准确率，表明其在小样本场景下依然有效。
• 与无掩码MoSI相比，掩码版MoSI显著提升了对局部运动模式的关注，减少了对方形区域运动模式的偏见。
• 尽管使用更深更小的主干网络，MoSI在HMDB51上仍优于DPC和MemDPC，表明其具备更优越的表征学习能力。