[论文解读] Spatiotemporal Pyramid Network for Video Action Recognition

Yunbo Wang, Mingsheng Long+2 more|arXiv (Cornell University)|Mar 4, 2019

Human Pose and Action Recognition参考文献 37被引用 4

一句话总结

该论文提出了一种时空金字塔网络，通过紧凑双线性融合与时空注意力，分层融合空间与时间特征，显著提升了视频动作识别性能。该方法通过统一损失函数联合优化多个抽象层级的特征，在UCF101（94.6%）和HMDB51上实现了最先进性能。

ABSTRACT

Two-stream convolutional networks have shown strong performance in video action recognition tasks. The key idea is to learn spatiotemporal features by fusing convolutional networks spatially and temporally. However, it remains unclear how to model the correlations between the spatial and temporal structures at multiple abstraction levels. First, the spatial stream tends to fail if two videos share similar backgrounds. Second, the temporal stream may be fooled if two actions resemble in short snippets, though appear to be distinct in the long term. We propose a novel spatiotemporal pyramid network to fuse the spatial and temporal features in a pyramid structure such that they can reinforce each other. From the architecture perspective, our network constitutes hierarchical fusion strategies which can be trained as a whole using a unified spatiotemporal loss. A series of ablation experiments support the importance of each fusion strategy. From the technical perspective, we introduce the spatiotemporal compact bilinear operator into video analysis tasks. This operator enables efficient training of bilinear fusion operations which can capture full interactions between the spatial and temporal features. Our final network achieves state-of-the-art results on standard video datasets.

研究动机与目标

• 解决两流网络中因背景相似性或短期运动模糊性而导致空间流或时间流失效的问题。
• 通过在多个抽象层级上进行分层融合，实现空间与时间特征之间的相互增强。
• 开发一种高效的融合机制，捕捉空间与时间特征之间的完整交互关系，同时避免参数过度增加。
• 通过利用长期时间上下文与运动引导的空间注意力，提升视频动作识别的泛化能力与判别能力。

提出的方法

• 网络采用金字塔结构，包含三个融合层级：空间与时间特征的早期融合、使用时空注意力的中间融合，以及通过紧凑双线性池化实现的晚期融合。
• 时空注意力利用时间特征作为引导，作用于空间特征，突出运动相关区域，降低对背景线索的依赖。
• 紧凑双线性池化用于建模空间与时间特征图之间的完整元素级交互，与标准双线性融合相比，显著减少了参数量。
• 多路径时间子网络通过在长视频序列上采样光流，提取长程运动特征，从而更好地区分相似动作。
• 整个网络通过统一的时空损失函数进行端到端训练，联合优化所有融合组件。
• 紧凑双线性算子在捕捉空间与时间表征之间复杂跨模态相关性的同时，实现了高效训练。

实验结果

研究问题

• RQ1 分层融合空间与时间特征是否能超越简单的晚期或早期融合，进一步提升视频动作识别性能？
• RQ2 如何利用运动信息引导空间特征选择，以减少因背景相似性导致的误分类？
• RQ3 长期时间建模是否能够区分在短片段中外观相似但随时间演变不同的动作？
• RQ4 紧凑双线性融合是否在捕捉时空交互方面优于拼接或逐元素求和？
• RQ5 注意力机制与多尺度时间建模在多大程度上能增强视频识别中特征的可判别性？

主要发现

• 所提出的时空金字塔网络在UCF101上达到94.6%的top-1准确率，超越了之前的最先进方法（94.0%），并优于原始两流融合方法（92.5%）。
• 在HMDB51上，该方法实现了最先进性能，展现出在多样化视频动作类别中的鲁棒性。
• 时空注意力模块通过聚焦于运动相关区域，成功消除了FrontCrawl与BreastStroke等动作的歧义，降低了对背景特征的依赖。
• 多路径时间融合使网络能够区分Pull-ups与RopeClimbing等动作，这些动作在短片段中视觉相似，但在长期运动模式上存在差异。
• t-SNE可视化结果表明，最终的金字塔架构产生的特征表示更具可判别性且类别间分离更清晰，优于单一流或基线融合方法。
• 消融实验验证了每个组件——注意力机制、多路径时间建模与紧凑双线性融合——均对性能提升有显著贡献。