[论文解读] MVP-Shot: Multi-Velocity Progressive-Alignment Framework for Few-Shot Action Recognition

Hongyu Qu, Rui Yan+4 more|arXiv (Cornell University)|May 3, 2024

Human Pose and Action Recognition被引用 4

一句话总结

本文提出MVP-Shot，一种新颖的多速度渐进对齐框架，用于少样本动作识别，通过在多个时间尺度（如帧级和片段级）上联合学习与对齐特征，以应对不同速度执行的动作。通过整合用于速度感知语义引导的渐进语义定制交互（PSTI）模块，以及用于跨速度相似性融合的多速度特征对齐（MVFA）模块，MVP-Shot在HMDB51、UCF101、Kinetics和SSv2-small上实现了最先进性能，在5-way 1-shot至5-shot设置下优于现有方法。

ABSTRACT

Recent few-shot action recognition (FSAR) methods typically perform semantic matching on learned discriminative features to achieve promising performance. However, most FSAR methods focus on single-scale (e.g., frame-level, segment-level, etc) feature alignment, which ignores that human actions with the same semantic may appear at different velocities. To this end, we develop a novel Multi-Velocity Progressive-alignment (MVP-Shot) framework to progressively learn and align semantic-related action features at multi-velocity levels. Concretely, a Multi-Velocity Feature Alignment (MVFA) module is designed to measure the similarity between features from support and query videos with different velocity scales and then merge all similarity scores in a residual fashion. To avoid the multiple velocity features deviating from the underlying motion semantic, our proposed Progressive Semantic-Tailored Interaction (PSTI) module injects velocity-tailored text information into the video feature via feature interaction on channel and temporal domains at different velocities. The above two modules compensate for each other to make more accurate query sample predictions under the few-shot settings. Experimental results show our method outperforms current state-of-the-art methods on multiple standard few-shot benchmarks (i.e., HMDB51, UCF101, Kinetics, and SSv2-small).

研究动机与目标

• 为解决少样本动作识别（FSAR）中单尺度特征对齐的局限性，即动作速度各异，但多数方法仅在单一时间尺度上对齐。
• 通过同时捕捉帧级与片段级等多速度层级之间的语义相关性，提升特征对齐的鲁棒性。
• 通过将速度定制的文本先验知识注入视频特征，防止多速度特征偏离潜在运动语义。
• 开发一种渐进式互补学习框架，融合多速度匹配结果，以在低样本条件下实现更准确的查询预测。

提出的方法

• 渐进语义定制交互（PSTI）模块通过通道与时间域交互，将速度特定的文本嵌入注入视频特征，增强各速度尺度上的语义对齐。
• 多速度特征对齐（MVFA）模块在多个速度层级上计算支持集与查询集特征之间的相似性得分，并以残差方式融合，以保留判别能力。
• 该框架执行渐进对齐：PSTI首先利用类别名称先验优化速度感知特征，随后MVFA聚合多尺度匹配信号。
• 模型利用预训练的CLIP-based主干网络进行初始视觉特征提取，PSTI与MVFA模块则附加于其上，用于少样本适应。
• 整个框架通过元学习的 episodic 训练方式端到端训练，使用交叉熵损失优化预测动作标签。
• 时间对齐采用OTAM作为度量标准，可视化注意力图以验证模型对动作相关区域的关注。

实验结果

研究问题

• RQ1 通过捕捉不同动作速度下的语义相关性，多速度特征对齐是否能提升少样本动作识别性能？
• RQ2 将速度定制的文本信息注入视频特征，是否能提升少样本动作预测的鲁棒性与准确性？
• RQ3 融合多速度尺度的相似性得分，是否能带来比单尺度对齐更可靠、更一致的预测？
• RQ4 与标准视觉-语言模型相比，所提框架在多大程度上减少了对背景与无关物体的关注？

主要发现

• 在5-way 1-shot至5-shot设置下，MVP-Shot在HMDB51、UCF101、Kinetics和SSv2-small上均达到最先进性能，优于现有SOTA方法。
• 在Kinetics上，MVP-Shot在5-way 1-shot设置下达到48.7%的准确率，较之前SOTA提升2.1个百分点。
• 在5-way 5-shot评估中，MVP-Shot在UCF101上达到72.3%的准确率，展现出在高样本条件下的强大泛化能力。
• 可视化结果表明，PSTI模块显著提升了注意力定位效果，聚焦于骑手、马匹或花样滑冰运动员等动作相关对象，同时减少了对背景的关注。
• MVFA中的多速度对齐可纠正单速度基线的误判，如在Kinetics上的相似性可视化所示，一个被误分类的查询通过多尺度融合被成功纠正。
• 消融研究证实，PSTI与MVFA模块均对性能有显著贡献，任一模块的移除均导致准确率大幅下降。