[论文解读] Self-Supervised Learning for Semi-Supervised Temporal Action Proposal

Xiang Wang, Shiwei Zhang+4 more|arXiv (Cornell University)|Apr 7, 2021

Human Pose and Action Recognition参考文献 55被引用 8

一句话总结

本文提出SSTAP，一种用于时序动作提案的自监督半监督框架，结合了时序感知的半监督学习与关系感知的自监督掩码任务。通过应用时序特征位移和翻转扰动，并利用掩码特征重建与片段顺序预测，SSTAP显著提升了特征的判别能力，在THUMOS14和ActivityNet v1.3上实现了最先进性能，即使在标签数据有限的情况下，也达到了全监督方法的水平。

ABSTRACT

Self-supervised learning presents a remarkable performance to utilize unlabeled data for various video tasks. In this paper, we focus on applying the power of self-supervised methods to improve semi-supervised action proposal generation. Particularly, we design an effective Self-supervised Semi-supervised Temporal Action Proposal (SSTAP) framework. The SSTAP contains two crucial branches, i.e., temporal-aware semi-supervised branch and relation-aware self-supervised branch. The semi-supervised branch improves the proposal model by introducing two temporal perturbations, i.e., temporal feature shift and temporal feature flip, in the mean teacher framework. The self-supervised branch defines two pretext tasks, including masked feature reconstruction and clip-order prediction, to learn the relation of temporal clues. By this means, SSTAP can better explore unlabeled videos, and improve the discriminative abilities of learned action features. We extensively evaluate the proposed SSTAP on THUMOS14 and ActivityNet v1.3 datasets. The experimental results demonstrate that SSTAP significantly outperforms state-of-the-art semi-supervised methods and even matches fully-supervised methods. Code is available at https://github.com/wangxiang1230/SSTAP.

研究动机与目标

• 通过利用未标注视频数据，减少在时序动作提案中对昂贵密集人工标注的依赖。
• 通过自监督预训练提升学习到的动作特征的鲁棒性与判别能力。
• 在单一框架中统一半监督与自监督学习，用于时序动作提案。
• 证明自监督学习可使半监督动作提案性能超越当前最先进方法。
• 验证所提框架在不同主干网络与数据集上的泛化能力。

提出的方法

• 引入一个时序感知的半监督分支，采用两种时序扰动：时序特征位移（双向通道移动）与沿时序维度的特征翻转。
• 采用Mean Teacher框架，通过扰动与未扰动输入联合训练学生与教师网络，以提升泛化能力。
• 设计一个关系感知的自监督分支，包含两项预训练任务：掩码特征重建与片段顺序预测，以学习时序依赖关系。
• 通过预训练任务隐式应用对比学习原则，最小化特征空间中的类内差异，最大化类间分离。
• 在多任务优化框架中联合训练提案模型，同时利用标注数据与未标注视频中的自监督信号。
• 将统一框架应用于不同主干网络（包括BMN与G-TAD），验证其泛化能力。

Figure 1: (a) Feature similarity matrix visualization. We use cosine similarity to measure the degree of similarity between arbitrary two snippet-level feature vectors within the same video. Note that, snippet-level features of the action as similar as possible while separating actions from backgrou

实验结果

研究问题

• RQ1 自监督学习能否通过有效利用未标注视频数据，提升半监督时序动作提案的性能？
• RQ2 如特征位移与翻转等时序扰动，是否能增强模型在动作提案中的鲁棒性与泛化能力？
• RQ3 如掩码特征重建与片段顺序预测等预训练任务，能否有效捕捉时序关系并提升特征判别能力？
• RQ4 所提出的SSTAP框架是否能在不同主干架构与数据集上实现泛化？
• RQ5 SSTAP是否仅使用少量标注数据即可实现与全监督方法相当的性能？

主要发现

• SSTAP在THUMOS14与ActivityNet v1.3上均实现了最先进性能，优于现有半监督方法，甚至超越部分全监督方法。
• 仅使用60%的标注数据，SSTAP在THUMOS14上的平均mAP即超过全监督BMN模型。
• 在THUMOS14上，SSTAP使用100%标注数据时达到58.4% mAP@0.3，超过全监督BMN（56.0%）与Ji等人（57.9%）在相同设置下的表现。
• 在G-TAD上应用时，SSTAP相比半监督基线模型mAP提升超过2%，证明其在不同架构间具有强大泛化能力。
• 关系感知的自监督分支通过特征相似性矩阵可视化，显著降低了类内相似性，提升了类间分离度。
• 消融实验验证，时序扰动与自监督预训练任务均对性能提升有显著贡献。

Figure 2: Overview of our SSTAP. We first encode a sampled untrimmed input video into a feature sequence $f_{1}$ . In the temporal-aware semi-supervised branch (top right), there are two sequential perturbation operations: temporal feature shift and temporal feature flip. And the Base Module takes t