[论文解读] Video Mobile-Former: Video Recognition with Efficient Global Spatial-temporal Modeling

Rui Wang, Zuxuan Wu+7 more|arXiv (Cornell University)|Aug 25, 2022

Advanced Neural Network Applications被引用 4

一句话总结

Video Mobile-Former 提出了一种轻量级视频识别模型，通过在 Transformer 编码器中仅使用六个可学习的全局标记，将局部特征提取（基于 3D-CNN 主干网络）与全局时空建模解耦。通过在这些全局标记与局部特征之间使用交叉注意力机制，该模型在低于 1G FLOPs 的条件下实现了最先进性能，在低 FLOP 范围内优于高效的 CNN 和更大的视频 Transformer 模型。

ABSTRACT

Transformer-based models have achieved top performance on major video recognition benchmarks. Benefiting from the self-attention mechanism, these models show stronger ability of modeling long-range dependencies compared to CNN-based models. However, significant computation overheads, resulted from the quadratic complexity of self-attention on top of a tremendous number of tokens, limit the use of existing video transformers in applications with limited resources like mobile devices. In this paper, we extend Mobile-Former to Video Mobile-Former, which decouples the video architecture into a lightweight 3D-CNNs for local context modeling and a Transformer modules for global interaction modeling in a parallel fashion. To avoid significant computational cost incurred by computing self-attention between the large number of local patches in videos, we propose to use very few global tokens (e.g., 6) for a whole video in Transformers to exchange information with 3D-CNNs with a cross-attention mechanism. Through efficient global spatial-temporal modeling, Video Mobile-Former significantly improves the video recognition performance of alternative lightweight baselines, and outperforms other efficient CNN-based models at the low FLOP regime from 500M to 6G total FLOPs on various video recognition tasks. It is worth noting that Video Mobile-Former is the first Transformer-based video model which constrains the computational budget within 1G FLOPs.

研究动机与目标

• 设计一种在移动设备等严格计算约束下仍能保持高精度的视频识别模型。
• 通过大幅减少自注意力机制处理的标记数量，克服标准视频 Transformer 的二次方计算复杂度问题。
• 在轻量级高效架构中整合 3D-CNN（局部归纳偏置）与 Transformer（全局长程建模）的优势。
• 通过最小化 FLOPs 和延迟，实现在移动和 CPU 平台上的实时推理。

提出的方法

• 模型采用双分支架构：基于轻量级 3D 深度可分离卷积和逐点卷积的 Mobile 分支，用于局部上下文建模。
• Former 分支仅对六个可学习的全局标记进行多头自注意力操作，以建模整个视频的全局时空依赖关系。
• 使用交叉注意力机制，实现在全局标记与局部 3D-CNN 特征之间的双向信息交换。
• 通过在卷积主干网络中采用较大的时间步长，早期对时间序列进行下采样，以减少序列长度和计算成本。
• 在 Mobile 模块中引入动态 ReLU 激活函数，利用帧级特征生成通道级参数，提升表征能力。
• 该架构旨在保持低 FLOP 范围（500M 至 6G）内的高精度，特别关注在 CPU 和移动硬件上的推理效率。

实验结果

研究问题

• RQ1 能否使视频 Transformer 足够高效，以实现移动设备上的部署，同时保持强劲性能？
• RQ2 在自注意力机制中仅使用六个全局标记，是否能有效建模视频中的长程时空依赖关系？
• RQ3 与最先进轻量级 CNN 和完整视频 Transformer 相比，3D-CNN 与最小化 Transformer 模块的结合在精度和 FLOPs 方面表现如何？
• RQ4 在轻量级视频模型中，时间下采样的最优位置和设计是什么？
• RQ5 动态激活函数是否能提升参数受限的视频识别模型的性能？

主要发现

• Video Mobile-Former 在 Kinetics-400 数据集上仅使用 1G FLOPs 即达到 67.4% 的 top-1 准确率，优于同一 FLOP 范围内的所有其他模型。
• 该模型在 V100 GPU 上推理耗时 29.0ms，在 CPU 上为 603.5ms，显著快于同类视频 Transformer，且与 3D-CNN 基线模型相当。
• 仅使用六个全局标记的性能优于使用更多标记或对每帧应用自注意力机制，证实了全局标记设计的高效性。
• 消融实验表明，尽管 FLOPs 略有增加，Mobile 模块中的 3D 深度可分离卷积相比 2D 或 (2+1)D 卷积表现更优。
• 使用帧级特征调制的动态 ReLU 相比 ReLU 提升了 2.5 个百分点的 top-1 准确率，相比原始 Mobile-Former 设计提升 1.8 个百分点。
• 即使在浅层网络中，该模型仍保持强劲性能，且随着网络变浅，性能增益进一步提升，表明其在轻量级架构中具有极高效率。