[论文解读] StNet: Local and Global Spatial-Temporal Modeling for Action Recognition

Dongliang He, Zhichao Zhou+6 more|arXiv (Cornell University)|Nov 5, 2018

Human Pose and Action Recognition参考文献 34被引用 23

一句话总结

StNet 提出了一种新颖的 2D+ 时间卷积架构，通过 3N 通道超图像建模局部时空特征，并通过时间 Xception 模块捕捉全局动态，其在 Kinetics600 上实现了 78.99% 的 top-1 准确率，FLOPs 比同类 3D-CNN 低 5 倍，同时在 UCF101 上通过迁移学习展现出强大的性能（使用 Inception-ResNet-V2 时准确率达 95.7%）。

ABSTRACT

Despite the success of deep learning for static image understanding, it remains unclear what are the most effective network architectures for the spatial-temporal modeling in videos. In this paper, in contrast to the existing CNN+RNN or pure 3D convolution based approaches, we explore a novel spatial temporal network (StNet) architecture for both local and global spatial-temporal modeling in videos. Particularly, StNet stacks N successive video frames into a \emph{super-image} which has 3N channels and applies 2D convolution on super-images to capture local spatial-temporal relationship. To model global spatial-temporal relationship, we apply temporal convolution on the local spatial-temporal feature maps. Specifically, a novel temporal Xception block is proposed in StNet. It employs a separate channel-wise and temporal-wise convolution over the feature sequence of video. Extensive experiments on the Kinetics dataset demonstrate that our framework outperforms several state-of-the-art approaches in action recognition and can strike a satisfying trade-off between recognition accuracy and model complexity. We further demonstrate the generalization performance of the leaned video representations on the UCF101 dataset.

研究动机与目标

• 解决大规模动作识别中有效时空建模的挑战。
• 克服 CNN+RNN 和 3D-CNN 架构的局限性，如训练不稳定和计算成本过高。
• 开发一种轻量化、端到端可训练的架构，联合建模局部与全局时空动态。
• 提升模型效率与表征质量，以在下游数据集（如 UCF101）上实现更好的泛化能力。

提出的方法

• 通过将 N 个连续的 RGB 帧堆叠为 3N 通道张量构建超图像，以支持 2D 卷积进行局部时空特征学习。
• 在 2D 特征图上应用时间 1D 卷积，以建模序列中的长程时间依赖关系。
• 引入时间 Xception 块（TXB），利用可分离深度可分离卷积和逐点卷积实现高效的时间建模。
• 使用端到端随机梯度下降（SGD）优化，避免使用 LSTM/GRU 等循环结构以提升训练稳定性。
• 在 Kinetics600 上进行预训练，以学习可迁移的视频表征，用于迁移至 UCF101 等较小数据集。
• 应用类别激活映射（CAM）可视化注意力机制，解释模型预测结果。

实验结果

研究问题

• RQ1 基于 2D 卷积的超图像架构能否有效捕捉视频中的局部时空特征？
• RQ2 专用的时间卷积模块（TXB）是否在建模长程时间动态方面优于分数平均法或 RNN？
• RQ3 所提出的 StNet 架构能否在降低 FLOPs 和模型复杂度的同时，实现高于 3D-CNN 的准确率？
• RQ4 所学表征在 UCF101 等较小数据集的下游动作识别任务中泛化能力如何？
• RQ5 通过可视化，模型在多大程度上关注与动作相关的时间-空间区域？

主要发现

• StNet-IRv2 在 Kinetics600 上实现 78.99% 的 top-1 准确率，仅需 439.57G FLOPs，尽管 FLOPs 增加了 3 倍，仍优于 P3D-ResNet152（71.31%）的性能。
• StNet-ResNet50 仅需 53G FLOPs 即实现 69.85% 的 top-1 准确率，优于在相近计算成本下的 C3D-ResNet50（64.65%）。
• 采用十作物测试时，StNet-ResNet50 准确率达到 71.86%，相比相同模型所需的 1648.4G FLOPs，FLOPs 降低超过 5 倍。
• StNet-IRv2 在 UCF101 上实现 95.7% 的平均类别准确率，仅需 123G FLOPs，创下 RGB 模型在相似 FLOP 约束下的新 SOTA 记录。
• 可视化结果表明，StNet 聚焦于与动作相关的关键区域（如扑克中的手部、画眉动作），而 TSN 则激活了无关的面部区域。
• 时间 Xception 块实现了高效、端到端的优化，其时间建模能力优于分数平均法或 RNN。