[论文解读] STH: Spatio-Temporal Hybrid Convolution for Efficient Action Recognition

Xu Li, Jingwen Wang+5 more|arXiv (Cornell University)|Mar 18, 2020

Human Pose and Action Recognition参考文献 38被引用 4

一句话总结

本文提出 STH-Conv，一种新颖的时空混合卷积模块，通过将输入通道分组，在单个 2D 卷积层内交错排列空间与时间卷积核，实现时空特征的深度整合，同时参数量极低。该方法在 Something-Something V1/V2、Jester 和 HMDB-51 数据集上达到最先进或具有竞争力的准确率，同时保持与 2D CNN 相当的模型效率，并在准确率和参数效率方面优于 3D CNN。

ABSTRACT

Effective and Efficient spatio-temporal modeling is essential for action recognition. Existing methods suffer from the trade-off between model performance and model complexity. In this paper, we present a novel Spatio-Temporal Hybrid Convolution Network (denoted as "STH") which simultaneously encodes spatial and temporal video information with a small parameter cost. Different from existing works that sequentially or parallelly extract spatial and temporal information with different convolutional layers, we divide the input channels into multiple groups and interleave the spatial and temporal operations in one convolutional layer, which deeply incorporates spatial and temporal clues. Such a design enables efficient spatio-temporal modeling and maintains a small model scale. STH-Conv is a general building block, which can be plugged into existing 2D CNN architectures such as ResNet and MobileNet by replacing the conventional 2D-Conv blocks (2D convolutions). STH network achieves competitive or even better performance than its competitors on benchmark datasets such as Something-Something (V1 & V2), Jester, and HMDB-51. Moreover, STH enjoys performance superiority over 3D CNNs while maintaining an even smaller parameter cost than 2D CNNs.

研究动机与目标

• 解决现有时空动作识别模型在性能与复杂度之间的权衡问题。
• 在单个卷积层内实现空间与时间特征的更深层次整合，避免对空间与时间操作进行串行或并行处理。
• 设计一种通用的模块化构建块，可无缝集成到如 ResNet 和 MobileNet 等现有 2D CNN 架构中。
• 在保持低参数量和计算成本的前提下，实现动作识别基准上的高准确率，适用于移动端和嵌入式设备部署。

提出的方法

• STH-Conv 将输入通道划分为若干组，并在单个 2D 卷积层的通道维上交错排列基础的空间与时间卷积核。
• 通过结构化、交错排列的方式组合空间与时间卷积核，构建时空混合核，实现对外观与运动的联合建模。
• STH 模块被设计为 2D CNN 中标准 2D 卷积模块的即插即用替代品，可将原有网络转换为高效的时空网络。
• 采用自适应注意力机制，动态平衡空间与时间分支，每个特征图均具有可学习的注意力系数。
• 网络采用标准交叉熵损失进行端到端训练，无需光流或额外监督信号。
• 该架构支持无缝集成到如 ResNet 和 MobileNet 等现有 2D CNN 中，实现高效视频动作识别。

实验结果

研究问题

• RQ1 单个卷积层能否在不增加模型复杂度的前提下，有效且高效地建模视频中的空间与时间特征？
• RQ2 在单个 2D 卷积层内交错排列空间与时间卷积核，相较于串行或并行处理方式，在性能与效率方面有何差异？
• RQ3 STH 模块在保持与 2D CNN 相当的模型大小与 FLOPs 的前提下，能在多大程度上提升动作识别的准确率？
• RQ4 空间与时间分支的可学习注意力权重在不同数据集、网络深度及输入模态下如何变化？

主要发现

• 在 Something-Something V1 上，STH 在仅 30.6 GFLOPs 和 23.2M 参数下达到 46.8% 的 top-1 准确率，优于 I3D 和 ECO，且参数更少。
• 在 Something-Something V2 上，STH 在 61.3 GFLOPs 和 23.2M 参数下达到 78.5% 的 top-1 准确率，准确率超过 TSM 和 ABM 模型，同时复杂度更低。
• STH 网络在深层网络中倾向于为时间分支分配更高的注意力，尤其在像 Something-Something V1 这类富含时间信息的数据集中。
• 对于光流输入，网络显著提升对时间分支的注意力，证实其对运动线索具有高度敏感性。
• 该方法在参数量和 FLOPs 更少的情况下，性能优于 3D CNN（如 I3D），展现出更优的效率-准确率权衡。
• STH 的即插即用特性使其可无缝集成到如 ResNet 和 MobileNet 等现有 2D CNN 中，实现无需架构重构的高效视频动作识别。