[论文解读] STM: SpatioTemporal and Motion Encoding for Action Recognition

Boyuan Jiang, Mengmeng Wang+3 more|arXiv (Cornell University)|Aug 7, 2019

Human Pose and Action Recognition参考文献 39被引用 59

一句话总结

STM 提出一种统一的二维卷积神经网络，通过 Channel-wise SpatioTemporal Module (CSTM) 和 Channel-wise Motion Module (CMM) 编码时空与运动特征，替代 ResNet 的残差块，以在不使用 3D 卷积或光流预计算的情况下实现超越最新方法。

ABSTRACT

Spatiotemporal and motion features are two complementary and crucial information for video action recognition. Recent state-of-the-art methods adopt a 3D CNN stream to learn spatiotemporal features and another flow stream to learn motion features. In this work, we aim to efficiently encode these two features in a unified 2D framework. To this end, we first propose an STM block, which contains a Channel-wise SpatioTemporal Module (CSTM) to present the spatiotemporal features and a Channel-wise Motion Module (CMM) to efficiently encode motion features. We then replace original residual blocks in the ResNet architecture with STM blcoks to form a simple yet effective STM network by introducing very limited extra computation cost. Extensive experiments demonstrate that the proposed STM network outperforms the state-of-the-art methods on both temporal-related datasets (i.e., Something-Something v1 & v2 and Jester) and scene-related datasets (i.e., Kinetics-400, UCF-101, and HMDB-51) with the help of encoding spatiotemporal and motion features together.

研究动机与目标

• 通过联合编码时空和运动信息来促进高效的动作识别。
• 在保持高精度的同时，消除对 3D 卷积和光流预计算的需求。
• 实现易于集成到现有的 2D CNN 主干（如 ResNet），并使计算开销最小。

提出的方法

• 引入 Channel-wise SpatioTemporal Module（CSTM），将沿通道的时间信息与局部空间处理融合。
• 引入 Channel-wise Motion Module（CMM），从连续帧中提取类似运动的表示，而无需显式光流。
• 通过将 CSTM 与 CMM 与残差风格的恒等路径及 1x1 通道维度降/扩展组合，形成 STM 块，便于插入到 ResNet 架构中。
• 用 STM 块替换 ResNet 的标准残差块以构建 STM 网络，获得一个无需 3D 运算或预计算流的轻量级 2D CNN。
• 证明 CSTM 与 CMM 的求和融合优于拼接融合，且将 STM 块放置在网络更深处能获得更好结果。

实验结果

研究问题

• RQ1 在不使用 3D 卷积或光流预计算的情况下，是否可以在一个统一的 2D CNN 中有效编码时空和运动特征？
• RQ2 按通道进行的时序融合和按通道的运动表示是否能为动作识别提供互补的增益？
• RQ3 融合策略、块放置和时序核设计对 STM 性能有何影响？

主要发现

• STM 在时序相关的数据集（Something-Something v1/v2、Jester）上仅使用 RGB 帧就达到最先进的结果。
• 在 Something-Something v1 的 8 帧下，STM 将 top-1 准确率比 TSN 提升约 29.5%；在 16 帧下，提升达到 34.5–34.2% 超过 TSN。
• 在 Something-Something v2，STM 相较于 TSN 在 8 帧和 16 帧上均有显著提升（top-1 和 top-5 指标）。
• 在 Kinetics-400，STM 达到 73.7% top-1 和 91.6% top-5，与 3D 和 双流方法相比具有竞争力，同时计算量更小。
• 在 UCF-101 与 HMDB-51，STM 接近或超过若干基线，优于 RGB-only TSN，并且与基于 I3D 的方法竞争，特别是在对 Kinetics 进行预训练时。
• 消融研究显示：CSTM 与 CMM 各自贡献显著增益，通道级时间融合优于普通时间卷积，求和融合优于拼接。