[论文解读] Self-Supervised Learning for Videos: A Survey

Madeline C. Schiappa, Yogesh Singh Rawat+1 more|arXiv (Cornell University)|Jun 18, 2022

Music and Audio Processing被引用 5

一句话总结

本综述对视频的自监督学习（SSL）进行了全面回顾，将方法分类为掩蔽任务、生成学习、对比学习和跨模态一致性。它强调了多模态方法的优势，指出了缺乏标准基准和模型可解释性等关键挑战，并提出了未来在长期视频表征、端到端学习和鲁棒评估框架方面的研究方向。

ABSTRACT

The remarkable success of deep learning in various domains relies on the availability of large-scale annotated datasets. However, obtaining annotations is expensive and requires great effort, which is especially challenging for videos. Moreover, the use of human-generated annotations leads to models with biased learning and poor domain generalization and robustness. As an alternative, self-supervised learning provides a way for representation learning which does not require annotations and has shown promise in both image and video domains. Different from the image domain, learning video representations are more challenging due to the temporal dimension, bringing in motion and other environmental dynamics. This also provides opportunities for video-exclusive ideas that advance self-supervised learning in the video and multimodal domain. In this survey, we provide a review of existing approaches on self-supervised learning focusing on the video domain. We summarize these methods into four different categories based on their learning objectives: 1) pretext tasks, 2) generative learning, 3) contrastive learning, and 4) cross-modal agreement. We further introduce the commonly used datasets, downstream evaluation tasks, insights into the limitations of existing works, and the potential future directions in this area.

研究动机与目标

• 为专门针对视频表征学习的自监督学习方法提供系统性综述，弥补现有综述主要聚焦于图像的不足。
• 将近期视频SSL方法按四种学习目标类型进行分类与分析：掩蔽任务、生成学习、对比学习和跨模态一致性。
• 识别当前视频SSL研究中的关键局限，包括缺乏标准化基准、对预训练视觉编码器的依赖，以及学习表征的可解释性不足。
• 强调多模态学习（视频、音频、文本）在提升性能和泛化能力方面日益重要的作用，尤其是在零样本学习场景中。
• 提出未来研究方向，包括长期视频建模、端到端训练、可解释性提升以及评估的鲁棒基准构建。

提出的方法

• 本文根据学习目标将现有视频SSL方法划分为四类：掩蔽任务、生成学习、对比学习和跨模态一致性。
• 使用Kinetics、Something-Something和YouCook2等标准视频数据集评估方法，并在动作识别、动作检索和文本到视频检索等下游任务上进行基准测试。
• 通过对比显式引入运动和时序动态的方法与将视频视为静态帧的方法，分析时序建模的影响。
• 比较单模态（仅视频）与多模态（视频-音频-文本）方法，强调跨模态对齐在无需数据增强的情况下提升性能的作用。
• 作者使用t-SNE可视化分析多模态模型中的联合嵌入空间，发现在高性能表现下不同模态之间在嵌入空间中仍保持空间分离。
• 方法论包括对预训练协议、主干网络架构（如I3D、Vision Transformers）以及视频SSL中数据增强策略的批判性回顾。

实验结果

研究问题

• RQ1 不同自监督学习目标——掩蔽任务、生成学习、对比学习和跨模态一致性——在学习视频表征方面的表现如何？
• RQ2 在保持时序一致性的情况下，基于图像的数据增强技术在视频SSL中有多大的泛化能力？
• RQ3 与仅使用视频的单模态方法相比，多模态方法（视频、音频、文本）在性能和鲁棒性方面表现如何？
• RQ4 当前视频SSL研究中的关键局限是什么，特别是基准测试、模型可解释性和跨领域泛化方面？
• RQ5 哪些未来研究方向对推进自监督视频表征学习最为关键？

主要发现

• 多模态自监督学习方法，如VideoClip和UniVL，在文本到视频检索任务中达到最先进性能，优于单模态模型如MIL-NCE。
• 结合时序数据增强的对比学习方法表现与或优于仅依赖空间增强的方法，表明时序一致性至关重要。
• 涉及视频重建或帧序预测的掩蔽任务表现出色，尤其当其利用运动和时序动态时。
• 在零样本动作识别中，多模态模型与单模态模型之间存在显著性能差距，表明跨模态对齐可增强泛化能力。
• 尽管性能优异，当前模型通常缺乏可解释性，t-SNE可视化显示不同模态（如视频与文本）的特征在嵌入空间中仍保持空间距离。
• 缺乏标准化基准和一致的评估协议阻碍了方法间的公平比较，且视频SSL中对分布偏移的鲁棒性仍研究不足。