[论文解读] Temporal Contrastive Graph for Self-supervised Video Representation Learning.

Yang Liu, Keze Wang+2 more|arXiv (Cornell University)|Jan 4, 2021

Human Pose and Action Recognition参考文献 36被引用 5

一句话总结

本文提出Temporal Contrastive Graph (TCG)，一种自监督视频表征学习方法，通过混合图对比学习框架利用片段内与片段间的时序关系。通过使用掩码图视图和自适应片段顺序预测模块建模时序顺序，TCG在动作识别和视频检索基准上取得了最先进性能。

ABSTRACT

Attempt to fully discover the temporal diversity and global-local chronological characteristics for self-supervised video representation learning, this work takes advantage of the temporal structure of videos and further proposes a novel self-supervised method named Temporal Contrastive Graph (TCG). In contrast to the existing methods that randomly shuffle the video frames or video snippets within a video, the TCG roots in a hybrid graph contrastive learning strategy to regard the inter-snippet and intra-snippet temporal relationships as self-supervision signals for temporal representation learning. To increase the temporal diversity of features, the TCG integrates the prior knowledge about the frame and snippet orders into temporal contrastive graphs, i.e., the intra-/inter- snippet temporal contrastive graph modules. By randomly removing edges and masking node features of the intra-snippet graphs or inter-snippet graphs, the TCG can generate different correlated graph views. Then, specific contrastive losses are designed to maximize the agreement between node embeddings in different views. To learn the global context representation and recalibrate the channel-wise features adaptively, we introduce an adaptive video snippet order prediction module, which leverages the relational knowledge among video snippets to predict the actual snippet orders. Experimental results demonstrate the superiority of our TCG over the state-of-the-art methods on large-scale action recognition and video retrieval benchmarks.

研究动机与目标

• 解决自监督视频表征学习中时序多样性与全局-局部时序结构利用不足的问题。
• 通过建模片段内与片段间时序关系作为自监督信号，提升特征表征能力。
• 通过时序对比图中的边移除与特征掩码，增强特征多样性与鲁棒性。
• 通过片段间关系知识预测实际视频片段顺序，学习全局上下文表征。
• 与现有自监督方法相比，在大规模动作识别与视频检索基准上实现更优性能。

提出的方法

• 构建片段内与片段间时序对比图，以建模视频片段中的局部与全局时序依赖。
• 通过随机边移除与节点特征掩码，生成多个相关联的图视图用于对比学习。
• 设计特定的对比损失函数，以最大化不同图视图间节点嵌入的一致性。
• 引入自适应视频片段顺序预测模块，利用片段间的关系知识预测实际片段顺序。
• 在图构建中整合帧与片段排序的先验知识，以保持时序结构。
• 将预测的片段顺序作为辅助监督信号，用于重新校准通道级特征，提升表征质量。

实验结果

研究问题

• RQ1 如何在自监督视频表征学习中有效利用时序多样性与全局-局部时序结构？
• RQ2 混合图对比学习框架是否能通过建模片段内与片段间时序关系，提升特征学习能力？
• RQ3 整合帧与片段顺序的先验知识在多大程度上能提升表征质量？
• RQ4 自适应片段顺序预测模块是否能改善全局上下文建模与特征重校准？
• RQ5 所提出方法是否在动作识别与视频检索基准上达到最先进性能？

主要发现

• TCG在大规模动作识别基准上优于最先进自监督方法，表现更优。
• 该方法在视频检索基准上展现出强大泛化能力，表明其具备鲁棒且判别性强的特征学习能力。
• 消融实验证实，片段内与片段间对比学习组件对性能提升均有显著贡献。
• 自适应片段顺序预测模块通过捕捉视频片段间的关系知识，改善了特征表征。
• 图视图中的掩码与随机边移除增强了特征多样性，并提升了对扰动的鲁棒性。
• 将时序顺序先验整合到图结构中，使表征更具连贯性与语义意义。