[论文解读] Pretext-Contrastive Learning: Toward Good Practices in Self-supervised Video Representation Leaning

Tao Li, Xueting Wang+1 more|arXiv (Cornell University)|Oct 29, 2020

Human Pose and Action Recognition参考文献 49被引用 8

一句话总结

本文提出预训练对比学习（PCL），一种联合优化框架，通过结合预训练任务与对比学习，并引入改进的数据增强和预处理方法，显著提升自监督视频表征学习性能。通过广泛的消融实验与评估，PCL仅使用Kinetics数据集的3.6%便在UCF101和HMDB51上取得最先进性能，为自监督视频学习设立了新基准。

ABSTRACT

Recently, pretext-task based methods are proposed one after another in self-supervised video feature learning. Meanwhile, contrastive learning methods also yield good performance. Usually, new methods can beat previous ones as claimed that they could capture "better" temporal information. However, there exist setting differences among them and it is hard to conclude which is better. It would be much more convincing in comparison if these methods have reached as closer to their performance limits as possible. In this paper, we start from one pretext-task baseline, exploring how far it can go by combining it with contrastive learning, data pre-processing, and data augmentation. A proper setting has been found from extensive experiments, with which huge improvements over the baselines can be achieved, indicating a joint optimization framework can boost both pretext task and contrastive learning. We denote the joint optimization framework as Pretext-Contrastive Learning (PCL). The other two pretext task baselines are used to validate the effectiveness of PCL. And we can easily outperform current state-of-the-art methods in the same training manner, showing the effectiveness and the generality of our proposal. It is convenient to treat PCL as a standard training strategy and apply it to many other works in self-supervised video feature learning.

研究动机与目标

• 探究如何联合优化预训练任务与对比学习，以提升自监督视频表征学习性能。
• 识别最优训练设置——尤其是数据增强、预处理与超参数——以最大化基于预训练方法的性能。
• 建立一种可泛化、灵活的训练策略，超越现有自监督方法，且无需引入新的预训练任务或对比目标。
• 在统一训练协议下，于标准视频基准（UCF101与HMDB51）上建立新的性能基准。
• 验证所提框架在多种预训练任务基线与网络架构上的通用性与有效性。

提出的方法

• 提出一种联合优化框架——预训练对比学习（PCL），在相同视频特征上同时训练预训练任务头与对比学习头。
• 集成强数据增强策略，包括随机裁剪、颜色抖动与时间裁剪，以提升特征鲁棒性。
• 采用残差片段（带跳跃连接的片段）以通过保留长程时间依赖性来增强特征学习。
• 采用双头训练设置：一个头用于预训练任务（如视频片段顺序预测），另一个头用于基于正负样本对的对比学习。
• 采用对称对比损失（如InfoNCE），以促进同一视频不同视图之间的特征区分。
• 通过加权损失和端到端联合优化两个头，实现相互提升。

实验结果

研究问题

• RQ1 将预训练任务与对比学习结合，是否能带来优于单独使用任一方法的视频表征学习效果？
• RQ2 在联合训练预训练与对比目标时，哪些具体的数据增强与预处理技术能最大化性能？
• RQ3 所提出的联合框架PCL是否能在不同预训练任务基线与网络架构上实现泛化？
• RQ4 PCL是否能在远少于当前方法所需预训练数据量的情况下实现最先进性能？
• RQ5 哪些最优超参数与训练设置能充分释放联合预训练-对比学习的潜力？

主要发现

• 在仅使用Kinetics数据3.6%的情况下，PCL在UCF101上实现了66.0%的动作识别准确率，显著优于相同训练设置下的以往自监督方法。
• 在HMDB51上，PCL实现了54.1%的top-1准确率，创下自监督视频学习在极小数据量下的新最先进纪录。
• 在视频检索任务中，PCL在UCF101的101个类别中，有72个类别优于独立的预训练与对比学习基线，平均性能更优。
• 消融实验表明，强数据增强与残差片段是关键组件，对性能提升有显著贡献。
• 该框架具有良好的泛化能力：PCL在三种不同预训练任务基线（如VCP等）与多种网络主干（R3D、ResNeXt）上均提升了性能。
• 可视化结果表明，PCL学习到的特征比基线方法更具聚类性与判别性，表明其特征质量更优。