[论文解读] Shifted Chunk Transformer for Spatio-Temporal Representational Learning

Xuefan Zha, Wentao Zhu+3 more|arXiv (Cornell University)|Aug 26, 2021

Human Pose and Action Recognition参考文献 55被引用 7

一句话总结

本文提出了一种名为移位块注意力变换器（Shifted Chunk Transformer, SCT）的内存与计算效率更高的变换器架构，用于时空表征学习。通过在图像块自注意力机制中引入局部敏感哈希（LSH），并结合移位多头注意力以建模帧间运动，SCT在Kinetics-400、Kinetics-600、UCF101和HMDB51数据集上实现了最先进（SOTA）的准确率，且参数量和浮点运算量（FLOPs）均低于先前方法。

ABSTRACT

Spatio-temporal representational learning has been widely adopted in various fields such as action recognition, video object segmentation, and action anticipation. Previous spatio-temporal representational learning approaches primarily employ ConvNets or sequential models,e.g., LSTM, to learn the intra-frame and inter-frame features. Recently, Transformer models have successfully dominated the study of natural language processing (NLP), image classification, etc. However, the pure-Transformer based spatio-temporal learning can be prohibitively costly on memory and computation to extract fine-grained features from a tiny patch. To tackle the training difficulty and enhance the spatio-temporal learning, we construct a shifted chunk Transformer with pure self-attention blocks. Leveraging the recent efficient Transformer design in NLP, this shifted chunk Transformer can learn hierarchical spatio-temporal features from a local tiny patch to a global video clip. Our shifted self-attention can also effectively model complicated inter-frame variances. Furthermore, we build a clip encoder based on Transformer to model long-term temporal dependencies. We conduct thorough ablation studies to validate each component and hyper-parameters in our shifted chunk Transformer, and it outperforms previous state-of-the-art approaches on Kinetics-400, Kinetics-600, UCF101, and HMDB51.

研究动机与目标

• 解决纯变换器模型在视频理解任务中计算成本高、内存需求大的问题。
• 提升对视频序列中细粒度帧内特征与复杂帧间运动变化的建模能力。
• 设计一种高效、分层的变换器架构，在降低FLOPs与模型尺寸的同时保持高准确率。
• 通过仅引入少量计算开销的纯变换器片段编码器，实现有效的长程时间建模。

提出的方法

• 通过在图像块自注意力中使用局部敏感哈希（LSH），降低注意力计算成本，并从小型图像块中实现细粒度的局部特征学习。
• 引入移位多头自注意力模块，通过关注相邻帧中空间偏移的图像块，显式建模运动信息，捕捉帧间差异。
• 采用分层设计，从局部图像块特征逐步聚合到全局视频片段，实现多尺度表征学习。
• 提出一种纯变换器的片段编码器，以极低的额外计算开销建模跨帧的长程时间依赖关系。
• 模型在ImageNet-21K上进行预训练，并在动作识别基准上使用标准RGB输入进行微调。
• 通过在Kinetics-400、Kinetics-600、UCF101和HMDB51上的大量消融实验，验证超参数与各组件的有效性。

实验结果

研究问题

• RQ1 纯变换器架构是否能在保持低计算成本的前提下，在视频动作识别任务中实现最先进性能？
• RQ2 局部敏感哈希（LSH）在多大程度上能有效降低视频变换器中的注意力计算量，同时不损失特征质量？
• RQ3 移位自注意力在多大程度上提升了对视频序列中运动与帧间关系的建模能力？
• RQ4 基于纯变换器的片段级注意力模块是否能以极低开销有效建模长程时间依赖关系？

主要发现

• 当在Kinetics-400上预训练时，移位块注意力变换器（SCT-L）在HMDB51上达到84.6%的top-1准确率，在UCF101上达到98.7%，优于以往SOTA方法。
• SCT-L在Kinetics-400上达到83.0%的top-1准确率，在Kinetics-600上达到84.3%，分别优于ViViT-L和TimeSformer 1.7%和1.3%。
• SCT-S仅使用ImageNet预训练即在UCF101上达到98.0%的top-1准确率，展现出在极小预训练数据下的强大泛化能力。
• SCT-L仅需0.343 TFLOPs与6000万参数，远低于ViViT-L的399.2 TFLOPs，同时实现更高准确率。
• 消融实验表明，基于LSH的块注意力与移位自注意力对性能均至关重要，任一模块的移除均导致准确率下降超过2%。
• SCT-M在单张V100 GPU上的推理延迟仅为0.072秒/次，展现出在高性能下仍具备极高的推理效率。