[论文解读] Temporal Contrastive Graph Learning for Video Action Recognition and Retrieval

Yang Liu, Keze Wang+2 more|arXiv (Cornell University)|Jan 4, 2021

Human Pose and Action Recognition参考文献 65被引用 9

一句话总结

本文提出时间对比图学习（TCGL），一种自监督方法，通过在片段内和片段间时间图上采用混合图对比学习策略，建模视频中的多尺度时间依赖性。通过利用随机边删除和节点掩码生成相关视图，并整合自适应片段顺序预测模块，TCGL在多种3D CNN主干网络上的动作识别和视频检索基准上实现了最先进性能。

ABSTRACT

Attempt to fully discover the temporal diversity and chronological characteristics for self-supervised video representation learning, this work takes advantage of the temporal dependencies within videos and further proposes a novel self-supervised method named Temporal Contrastive Graph Learning (TCGL). In contrast to the existing methods that ignore modeling elaborate temporal dependencies, our TCGL roots in a hybrid graph contrastive learning strategy to jointly regard the inter-snippet and intra-snippet temporal dependencies as self-supervision signals for temporal representation learning. To model multi-scale temporal dependencies, our TCGL integrates the prior knowledge about the frame and snippet orders into graph structures, i.e., the intra-/inter- snippet temporal contrastive graphs. By randomly removing edges and masking nodes of the intra-snippet graphs or inter-snippet graphs, our TCGL can generate different correlated graph views. Then, specific contrastive learning modules are designed to maximize the agreement between nodes in different views. To adaptively learn the global context representation and recalibrate the channel-wise features, we introduce an adaptive video snippet order prediction module, which leverages the relational knowledge among video snippets to predict the actual snippet orders. Experimental results demonstrate the superiority of our TCGL over the state-of-the-art methods on large-scale action recognition and video retrieval benchmarks.

研究动机与目标

• 解决现有自监督视频学习方法仅孤立建模短期或长期时间依赖性的局限性。
• 发现并利用片段内（短期）和片段间（长期）时间依赖性，以提升表征学习效果。
• 开发一种基于图的对比学习框架，联合利用多尺度时间结构作为自监督信号。
• 引入自适应视频片段顺序预测模块，利用片段间的关联知识增强全局上下文学习与通道重校准。
• 在大规模视频动作识别和检索基准上验证TCGL的有效性。

提出的方法

• 该方法将视频采样为固定长度的片段，并进一步将每个片段划分为帧组，以捕捉多尺度时间动态。
• 构建两类图结构：片段内图（用于片段内帧组）和片段间图（用于按时间顺序排列的片段），并融入时间顺序的先验知识。
• 应用随机边删除和节点特征掩码，生成用于对比学习的多个相关图视图。
• 对比学习模块最大化不同视图中节点的特征一致性，以促进鲁棒的时间表征学习。
• 引入自适应片段顺序预测头，用于预测视频片段的真实时间顺序，利用片段间的关联知识提升全局上下文理解能力。
• 在大规模未标注视频数据上使用TCGL对主干网络（3D CNN）进行预训练，随后在下游任务上进行微调。

实验结果

研究问题

• RQ1 联合建模片段内与片段间时间依赖性是否能提升自监督视频表征学习？
• RQ2 利用多尺度时间结构作为自监督信号的图对比学习框架有多有效？
• RQ3 自适应片段顺序预测能否增强学习到的视频表征的判别能力？
• RQ4 TCGL在不同3D CNN主干网络和动作识别与检索基准上是否具备泛化能力？
• RQ5 在性能和鲁棒性方面，TCGL与当前最先进自监督方法相比如何？

主要发现

• 在UCF101数据集上使用R3D主干网络，TCGL达到72.4%的top-1准确率，比之前的SOTA方法（V-pace）高出2.6个百分点。
• 在Kinetics-400数据集上使用R3D主干网络，TCGL达到75.7%的top-1准确率，比先前SOTA（V-pace）高出2.8个百分点。
• 在UCF101数据集的视频检索任务中使用C3D主干网络，TCGL达到77.7%的top-50检索准确率，比先前SOTA（V-pace）高出2.2分。
• 在HMDB51数据集上，使用R(2+1)D主干网络的TCGL达到80.2%的top-50检索准确率，超过先前SOTA 3.1分。
• 激活图可视化结果表明，TCGL学习到了与视频中运动模式对齐的判别性时空表征。
• 消融实验表明，片段内与片段间图学习组件均对性能有显著贡献，验证了多尺度设计的有效性。