[论文解读] Self-Supervised Video Representation Using Pretext-Contrastive Learning.

Tao Li, Xueting Wang+1 more|arXiv (Cornell University)|Oct 29, 2020

Multimodal Machine Learning Applications参考文献 48被引用 10

一句话总结

本文提出了一种自监督视频表征方法——预训练对比学习（PCL），通过超球面特征空间对齐，统一了预训练任务与对比学习。通过联合优化两项目标，PCL在多个基线模型上实现了视频检索与识别任务的最先进性能，展现出强大的一致性和泛化能力。

ABSTRACT

Pretext tasks and contrastive learning have been successful in self-supervised learning for video retrieval and recognition. In this study, we analyze their optimization targets and utilize the hyper-sphere feature space to explore the connections between them, indicating the compatibility and consistency of these two different learning methods. Based on the analysis, we propose a self-supervised training method, referred as Pretext-Contrastive Learning (PCL), to learn video representations. Extensive experiments based on different combinations of pretext task baselines and contrastive losses confirm the strong agreement with their self-supervised learning targets, demonstrating the effectiveness and the generality of PCL. The combination of pretext tasks and contrastive losses showed significant improvements in both video retrieval and recognition over the corresponding baselines. And we can also outperform current state-of-the-art methods in the same manner. Further, our PCL is flexible and can be applied to almost all existing pretext task methods.

研究动机与目标

• 分析自监督视频表征中预训练任务与对比学习的优化目标。
• 探究预训练任务与对比学习在超球面特征空间中的兼容性与一致性。
• 提出一种统一的训练框架——预训练对比学习（PCL），整合两种方法以提升视频表征学习效果。
• 在多种预训练任务基线与对比损失函数上，证明PCL的通用性与有效性。
• 在相同的自监督范式下，超越现有最先进方法在视频检索与识别任务中的表现。

提出的方法

• 该方法将视频表征学习建模为在超球面特征空间中对预训练任务与对比学习目标的联合优化。
• 利用超球面的几何特性，对齐预训练任务与对比学习的优化目标。
• 框架结合了多种预训练任务基线（如帧序预测、视频补全）与多种对比损失函数。
• 通过预训练任务损失与对比损失的加权和进行端到端训练，以促进一致的特征学习。
• 该方法模块化且灵活，可与几乎所有现有的预训练任务方法集成。
• 最终的视频表征在无需人工标注标签的情况下学习得到，完全依赖自监督信号。

实验结果

研究问题

• RQ1 在视频表征学习的背景下，预训练任务与对比学习的优化目标之间有何关系？
• RQ2 当在共享的超球面特征空间中进行优化时，预训练任务与对比学习在多大程度上具有兼容性与一致性？
• RQ3 一种结合两种方法的统一框架是否能在视频检索与识别任务中优于单独使用任一方法？
• RQ4 所提出的预训练对比学习（PCL）框架在不同预训练任务基线上的泛化能力如何？
• RQ5 PCL是否优于当前最先进的自监督视频学习方法？

主要发现

• 在超球面特征空间中联合优化预训练任务与对比学习，可实现学习目标的显著一致性。
• 与单独的预训练任务或对比学习基线相比，PCL在视频检索与识别任务中实现了显著性能提升。
• 在相同的训练协议下，PCL始终优于当前最先进的自监督视频学习方法。
• 该框架具有高度泛化能力，可应用于几乎所有现有预训练任务方法，并持续带来性能增益。
• 大量消融实验表明，预训练任务与对比损失的结合比单独使用任一方法更有效。