[论文解读] Zero-Shot Temporal Action Detection via Vision-Language Prompting

Sauradip Nag, Xiatian Zhu+2 more|arXiv (Cornell University)|Jul 17, 2022

Human Pose and Action Recognition被引用 4

一句话总结

该论文提出 STALE，一种新颖的一阶段零样本动作检测模型，通过并行头结构与可学习的、与类别无关的表征掩码模块，解耦定位与分类任务，实现端到端优化并消除误差传播。STALE 在零样本动作检测（ZS-TAD）基准上达到最先进性能，显著优于先前方法，并在标准 TAD 数据集上也超越了强大的监督基线模型。

ABSTRACT

Existing temporal action detection (TAD) methods rely on large training data including segment-level annotations, limited to recognizing previously seen classes alone during inference. Collecting and annotating a large training set for each class of interest is costly and hence unscalable. Zero-shot TAD (ZS-TAD) resolves this obstacle by enabling a pre-trained model to recognize any unseen action classes. Meanwhile, ZS-TAD is also much more challenging with significantly less investigation. Inspired by the success of zero-shot image classification aided by vision-language (ViL) models such as CLIP, we aim to tackle the more complex TAD task. An intuitive method is to integrate an off-the-shelf proposal detector with CLIP style classification. However, due to the sequential localization (e.g, proposal generation) and classification design, it is prone to localization error propagation. To overcome this problem, in this paper we propose a novel zero-Shot Temporal Action detection model via Vision-LanguagE prompting (STALE). Such a novel design effectively eliminates the dependence between localization and classification by breaking the route for error propagation in-between. We further introduce an interaction mechanism between classification and localization for improved optimization. Extensive experiments on standard ZS-TAD video benchmarks show that our STALE significantly outperforms state-of-the-art alternatives. Besides, our model also yields superior results on supervised TAD over recent strong competitors. The PyTorch implementation of STALE is available at https://github.com/sauradip/STALE.

研究动机与目标

• 解决零样本动作检测（ZS-TAD）的挑战，即模型必须在无任何未见动作类别标注训练数据的情况下识别未见动作类别。
• 克服现有两阶段 ZS-TAD 方法的关键局限：由于提议生成与分类的串行处理，导致定位误差传播。
• 通过新颖的提示与适配机制，利用视觉-语言（ViL）模型（如 CLIP）实现对未见动作类别的有效零样本迁移。
• 提升视频理解任务中视觉与文本表征之间的跨模态对齐，以增强低资源设置下的泛化能力与性能。
• 开发一种统一的、可端到端训练的框架，联合优化定位与分类，避免先前方法中冻结定位头与分类头之间的不兼容性。

提出的方法

• 提出一种一阶段架构，采用并行的定位与分类头，解耦两项任务，防止定位误差向分类阶段传播。
• 引入一种可学习的、与类别无关的表征掩码模块，从视频特征生成前景掩码，实现对未见动作类别的零样本泛化。
• 利用视觉-语言模型（类似 CLIP）通过自然语言描述动作类别的提示实现零样本分类，利用预训练的视觉与文本编码器。
• 在基于 Transformer 的框架中引入跨流对齐正则化，通过自注意力机制增强视觉与语言特征之间的跨模态一致性。
• 设计一种可学习的文本上下文，最多包含 50 个 token，以更好地捕捉动作分类的语义上下文，性能优于固定或较短提示。
• 采用多头 Transformer（无位置编码）进行时间建模，以捕捉视频序列中的长距离依赖关系，优于 1D-CNN 与 MS-TCN 基线模型。

实验结果

研究问题

• RQ1 在零样本设置下，一阶段并行架构能否消除定位与分类之间的误差传播？
• RQ2 可学习的、与类别无关的表征掩码模块在实现对未见动作类别的零样本泛化方面效果如何？
• RQ3 视觉与语言特征之间的跨模态对齐在多大程度上提升了零样本动作检测的性能？
• RQ4 与固定或较短提示相比，使用可学习的、可变长度的文本上下文是否能提升分类准确率？
• RQ5 所提出的 STALE 模型是否不仅能在零样本设置下，也能在完全监督的 TAD 设置下实现最先进性能？

主要发现

• STALE 在 ActivityNet 的 75% 已见类别划分上达到 38.2% 的平均精度（mAP），显著优于先前最先进方法在零样本动作检测中的表现。
• 消融实验表明，微调文本编码器可使 mAP 提升 1.3%（从 36.9% 提升至 38.2%），证明领域自适应对 TAD 任务的重要性。
• 在相同零样本设置下，使用 Transformer 进行时间建模可达到 38.2% 的 mAP，优于 1D-CNN（29.0%）与 MS-TCN（33.5%），证实其在上下文建模方面的优越能力。
• 通过视觉到语言的交叉自适应实现的跨流对齐正则化，使 mAP 提升 1.4%（从 23.5% 提升至 24.9%），且计算开销极低。
• 将上下文 token 数量从 10 增加到 50，可使 mAP 从 36.3% 提升至 38.2%，表明更长的上下文序列能增强 ZS-TAD 性能。
• STALE 在监督 TAD 设置下也表现出优越性能，在 ActivityNet 与 THUMOS 基准上超越近期强基线模型，证明其在零样本学习之外的泛化能力。