[论文解读] Video 3D Sampling for Self-supervised Representation Learning

Wei Li, Dezhao Luo+3 more|arXiv (Cornell University)|Jul 8, 2021

Human Pose and Action Recognition参考文献 35被引用 10

一句话总结

本文提出视频3D采样（V3S），一种自监督表示学习方法，通过利用空间（宽度、高度）和时间（时间）维度来学习丰富的时空特征。通过在所有三个维度上应用尺度和投影变换，V3S在动作识别、视频检索和动作相似性标注任务上均取得显著提升，且在UCF101、HMDB51和ASLAN数据集上实现了显著领先于当前最先进方法的性能。

ABSTRACT

Most of the existing video self-supervised methods mainly leverage temporal signals of videos, ignoring that the semantics of moving objects and environmental information are all critical for video-related tasks. In this paper, we propose a novel self-supervised method for video representation learning, referred to as Video 3D Sampling (V3S). In order to sufficiently utilize the information (spatial and temporal) provided in videos, we pre-process a video from three dimensions (width, height, time). As a result, we can leverage the spatial information (the size of objects), temporal information (the direction and magnitude of motions) as our learning target. In our implementation, we combine the sampling of the three dimensions and propose the scale and projection transformations in space and time respectively. The experimental results show that, when applied to action recognition, video retrieval and action similarity labeling, our approach improves the state-of-the-arts with significant margins.

研究动机与目标

• 为解决现有自监督视频方法在利用空间语义和运动方向方面存在不足，仅关注时间信号的问题。
• 开发一种在保持视频语义结构的同时，实现有效自监督预训练的方法。
• 在统一的多任务框架中，探究运动方向与空间语义对视频表示学习的贡献。
• 通过自监督预训练提升下游任务在动作识别、视频检索和动作相似性标注中的性能。
• 证明即使在小规模数据集（如UCF101）上，也能通过简单而有效的掩蔽任务学习到高质量表示。

提出的方法

• V3S在三个维度（宽度W、高度H和时间T）上进行采样，以提取时空信息。
• 在空间学习方面，通过空间尺度和空间投影变换，调整帧中物体的大小和运动方向。
• 在时间学习方面，采用时间尺度和渐进式快进采样策略，改变运动速度及其变化模式。
• 该方法构建了一个多任务学习框架，将变换作为自监督对比学习的监督信号。
• 渐进式快进策略通过避免过度删除帧，最小化了加速过程中的语义损失。
• 模型在Kinetics-400上进行预训练，并使用线性评估协议在下游任务上进行微调。

实验结果

研究问题

• RQ1 运动方向和空间语义能否在自监督视频表示学习中有效作为监督信号？
• RQ2 与仅基于时间或空间的掩蔽任务相比，跨宽度、高度和时间的3D采样如何提升特征质量？
• RQ3 基于尺度和投影变换的自监督方法是否能在下游视频理解任务中实现最先进性能？
• RQ4 与帧洗牌或立方体拼图方法相比，V3S在数据增强过程中对语义结构的保留程度如何？
• RQ5 在小规模数据集（如UCF101）上，V3S是否能缩小自监督与监督预训练之间的性能差距？

主要发现

• 在UCF101上，V3S使用C3D模型达到78.3%的top-1准确率，优于先前所有自监督方法，创下新的SOTA记录。
• 在HMDB51上，V3S使用R3D模型达到65.4%的准确率，显著超越此前SOTA的60.9%。
• 在视频检索任务中，V3S使用R3D模型在Top1至Top50的所有指标上均优于所有先前方法，Top1准确率达到65.4%。
• 在ASLAN动作相似性标注基准上，V3S使用R3D模型取得最高准确率，显著缩小了自监督与监督方法之间的差距。
• Grad-CAM可视化结果表明，V3S学习到的注意力图与运动动态（如射箭中的手部动作或投掷动作）高度对齐。
• 渐进式快进采样策略在有效保留语义内容的同时，显著增强了速度预测学习的鲁棒性。