[论文解读] Spatio-temporal Relation Modeling for Few-shot Action Recognition

Anirudh Thatipelli, Sanath Narayan+4 more|arXiv (Cornell University)|Dec 9, 2021

Human Pose and Action Recognition被引用 6

一句话总结

本文提出STRM，一种少样本动作识别框架，通过结合局部划片区级与全局帧级特征增强的新型时空增强模块，提升特征判别能力与时空推理能力。通过集成中间查询-类别相似性分类，并在低基数下学习高阶时空关系，STRM在Kinetics、SSv2、HMDB51和UCF101上均取得最先进性能，SSv2上实现3.5%的绝对准确率提升。

ABSTRACT

We propose a novel few-shot action recognition framework, STRM, which enhances class-specific feature discriminability while simultaneously learning higher-order temporal representations. The focus of our approach is a novel spatio-temporal enrichment module that aggregates spatial and temporal contexts with dedicated local patch-level and global frame-level feature enrichment sub-modules. Local patch-level enrichment captures the appearance-based characteristics of actions. On the other hand, global frame-level enrichment explicitly encodes the broad temporal context, thereby capturing the relevant object features over time. The resulting spatio-temporally enriched representations are then utilized to learn the relational matching between query and support action sub-sequences. We further introduce a query-class similarity classifier on the patch-level enriched features to enhance class-specific feature discriminability by reinforcing the feature learning at different stages in the proposed framework. Experiments are performed on four few-shot action recognition benchmarks: Kinetics, SSv2, HMDB51 and UCF101. Our extensive ablation study reveals the benefits of the proposed contributions. Furthermore, our approach sets a new state-of-the-art on all four benchmarks. On the challenging SSv2 benchmark, our approach achieves an absolute gain of $3.5\%$ in classification accuracy, as compared to the best existing method in the literature. Our code and models are available at https://github.com/Anirudh257/strm.

研究动机与目标

• 解决少样本动作识别中支持样本有限导致分类困难的挑战。
• 通过显式建模视频表征中的空间与时间上下文，提升特征判别能力。
• 克服先前方法（如TRX）因固定元组表示和缺乏上下文增强而难以应对空间与时间变化的局限性。
• 即使在动作速度、时间偏移和干扰物存在差异的情况下，也能实现查询视频与支持视频之间鲁棒的时空关系建模。
• 通过在低基数下自适应地学习样本相关特征增强，实现更高阶时空关系，提升模型灵活性。

提出的方法

• 提出一种时空增强模块，包含两个子模块：划片区级增强（PLE）用于局部外观上下文建模，帧级增强（FLE）用于全局时间上下文建模。
• 在PLE中使用样本相关自注意力机制，捕捉每帧内不同动作类别之间的外观相似性与差异性。
• 在FLE中采用样本无关的持久记忆聚合机制，编码视频中的长程时间依赖性与物体运动。
• 在划片区级特征上引入查询-类别相似性分类器，以在特征学习过程中强化类别特定的判别能力。
• 通过查询与支持子序列之间的动态元组匹配学习高阶时空关系，降低对固定基数分支的依赖。
• 由于GPU显存限制，采用16轮梯度累积进行训练，使用8帧的均匀采样和中心裁剪推理。

实验结果

研究问题

• RQ1 显式建模时空上下文是否能提升少样本动作识别中的特征判别能力？
• RQ2 结合局部划片区级与全局帧级特征增强，对少样本设置下的时空关系学习有何影响？
• RQ3 在增强特征上引入中间分类头是否能提升模型泛化能力与判别能力？
• RQ4 在低基数下学习高阶时空关系是否相比固定分支方法能提升模型灵活性与性能？
• RQ5 所提方法在具有挑战性的少样本基准上相比现有SOTA方法的性能提升程度如何？

主要发现

• STRM在四个少样本动作识别基准（Kinetics、SSv2、HMDB51和UCF101）上均取得新的SOTA性能。
• 在具有挑战性的SSv2基准上，STRM相比文献中最佳现有方法实现了3.5%的绝对准确率提升。
• 定性注意力图显示，即使在细微2D运动差异的细粒度动作中，STRM也能有效聚焦于与动作相关的关键物体与运动模式。
• 模型在元组匹配性能上表现更优，得益于增强的特征判别能力与时空推理能力，支持视频中的代表性匹配更准确。
• 消融实验验证了划片区级与帧级增强组件，以及中间查询-类别相似性分类器的有效性。
• 该框架学习到更具鲁棒性与判别性的表征，尤其在物体、背景和干扰运动多变的场景中表现更优。