[论文解读] Spatiotemporal Residual Networks for Video Action Recognition

Christoph Feichtenhofer, Axel Pinz+1 more|arXiv (Cornell University)|Nov 7, 2016

Human Pose and Action Recognition被引用 494

一句话总结

引入时空ResNets，将双流架构与残差连接和时序卷积融合，在 UCF101 和 HMDB51 上实现最先进的动作识别性能。

ABSTRACT

Two-stream Convolutional Networks (ConvNets) have shown strong performance for human action recognition in videos. Recently, Residual Networks (ResNets) have arisen as a new technique to train extremely deep architectures. In this paper, we introduce spatiotemporal ResNets as a combination of these two approaches. Our novel architecture generalizes ResNets for the spatiotemporal domain by introducing residual connections in two ways. First, we inject residual connections between the appearance and motion pathways of a two-stream architecture to allow spatiotemporal interaction between the two streams. Second, we transform pretrained image ConvNets into spatiotemporal networks by equipping these with learnable convolutional filters that are initialized as temporal residual connections and operate on adjacent feature maps in time. This approach slowly increases the spatiotemporal receptive field as the depth of the model increases and naturally integrates image ConvNet design principles. The whole model is trained end-to-end to allow hierarchical learning of complex spatiotemporal features. We evaluate our novel spatiotemporal ResNet using two widely used action recognition benchmarks where it exceeds the previous state-of-the-art.

研究动机与目标

• 将 ResNet 扩展到视频动作识别的时空域。
• 融合外观（RGB）和运动（光流）流，并在流之间通过残差连接实现跨流互动。
• 通过时域残差初始化，将预训练的图像 ConvNets 转换为时空网络。
• 实现端到端训练，以学习分层的时空特征。
• 在标准动作识别基准数据集上展示最先进的性能。

提出的方法

• 采用用于外观和运动流的预训练 ImageNet 的两流 ResNet-50 架构。
• 引入流之间的残差连接，以实现时空交互（运动残差）。
• 将空间的 1x1 维度映射滤波器转换为作为时域残差连接初始化的时域滤波器（方程 5 及相关）。
• 堆叠时序卷积以增大时空感受野，同时保留基于图像的设计原则。
• 训练分三个阶段：单独流预训练、跨流残差的联合 ST-ResNet 训练，以及带时域最大池化的 ST-ResNet*。
• 使用 25 帧块进行全卷积推理，并通过时域最大池化实现更长的时间范围。

实验结果

研究问题

• RQ1 跨外观与运动流的残差连接能否改善视频动作识别的时空特征学习？
• RQ2 将 ResNets 扩展到时序卷积并以预训练的图像网络初始化，是否会在标准基准上提升性能？
• RQ3 端到端训练和时序最大池化对识别准确率有何影响？
• RQ4 时序步幅和感受野如何影响在较长视频序列中的动作识别？

主要发现

• ST-ResNet 在带有跨流残差和时序卷积的两流基线中显著提升。
• ST-ResNet* 和 ST-ResNet* 结合时序最大池化在两个基准上均超过 ST-ResNet 的准确率。
• 在 UCF101 和 HMDB51 上，ST-ResNet* 相较于以往的 ConvNet 方法达到最先进的结果。
• 将 IDT 特征与 ST-ResNet* 结合进一步提升 HMDB51 的性能（显著提升）。
• 利用预训练图像网络进行端到端训练的时空网络显示出强泛化和性能提升。