[论文解读] Two-Stream AMTnet for Action Detection

Suman Saha, Gurkirt Singh+1 more|arXiv (Cornell University)|Apr 3, 2020

Human Pose and Action Recognition参考文献 44被引用 8

一句话总结

该论文提出了一种新型端到端深度学习框架 Two-Stream AMTnet，用于在线动作检测，通过训练时的特征融合联合训练外观流与运动流，实现实时、增量式动作管路生成。该方法仅使用帧对（pairs of frames）进行训练，在 UCF-101-24 和 J-HMDB-21 数据集上实现了最先进性能，推理速度达 33 fps，克服了基于帧、后期融合和离线方法的局限性。

ABSTRACT

In this paper, we propose Two-Stream AMTnet, which leverages recent advances in video-based action representation[1] and incremental action tube generation[2]. Majority of the present action detectors follow a frame-based representation, a late-fusion followed by an offline action tube building steps. These are sub-optimal as: frame-based features barely encode the temporal relations; late-fusion restricts the network to learn robust spatiotemporal features; and finally, an offline action tube generation is not suitable for many real-world problems such as autonomous driving, human-robot interaction to name a few. The key contributions of this work are: (1) combining AMTnet's 3D proposal architecture with an online action tube generation technique which allows the model to learn stronger temporal features needed for accurate action detection and facilitates running inference online; (2) an efficient fusion technique allowing the deep network to learn strong spatiotemporal action representations. This is achieved by augmenting the previous Action Micro-Tube (AMTnet) action detection framework in three distinct ways: by adding a parallel motion stIn this paper, we propose a new deep neural network architecture for online action detection, termed ream to the original appearance one in AMTnet; (2) in opposition to state-of-the-art action detectors which train appearance and motion streams separately, and use a test time late fusion scheme to fuse RGB and flow cues, by jointly training both streams in an end-to-end fashion and merging RGB and optical flow features at training time; (3) by introducing an online action tube generation algorithm which works at video-level, and in real-time (when exploiting only appearance features). Two-Stream AMTnet exhibits superior action detection performance over state-of-the-art approaches on the standard action detection benchmarks.

研究动机与目标

• 解决基于帧、后期融合和离线动作检测方法在自动驾驶和人机交互等应用中难以实现实时部署的局限性。
• 通过仅使用稀疏成对帧标注（如 DALY 和 AVA 中的标注）来训练，克服以往方法中需要密集多帧标注（例如 k=6–8 帧）导致的低效与高计算成本问题。
• 通过在训练时融合特征，实现外观流与运动流的端到端联合优化，而非依赖推理时的后期融合。
• 开发一种在线、增量式动作管路生成算法，能够随视频流实时构建管路，适用于真实世界部署。
• 在保证高精度的同时实现高速推理，使模型适用于实时应用，且支持稀疏与密集标注方案。

提出的方法

• 通过引入并行的运动流，扩展 AMTnet 架构，使其在原始 RGB 外观流之外处理光流特征。
• 对两个流进行端到端联合训练，使网络在优化过程中学习外观与运动特征之间的像素级对应关系。
• 实现一种训练时的卷积特征融合机制，将 RGB 与光流特征在网络早期阶段融合，提升时空表征学习能力。
• 设计一种在线动作管路生成算法，以视频级别而非帧级别增量构建动作管路，支持实时推理。
• 在训练和推理中仅使用帧对（f_t, f_{t+Δ}），相比 k 帧窗口方法显著降低计算成本。
• 采用密集光流估计作为运动表征，同时可选择切换到实时光流以优化速度，且精度损失可忽略。

实验结果

研究问题

• RQ1 与推理时的后期融合相比，通过训练时融合实现外观流与运动流的端到端联合训练，是否能显著提升时空表征学习能力？
• RQ2 能否有效将在线、增量式动作管路生成策略集成到双流框架中，以实现实时推理？
• RQ3 仅使用帧对（而非 k 个连续帧）是否能实现有效训练，同时支持 DALY 和 AVA 等数据集中的稀疏标注？
• RQ4 所提方法是否能在标准基准上实现高精度，同时在消费级硬件上保持实时推理速度（如 >20 fps）？
• RQ5 与最先进离线和在线检测器相比，该模型在高 IoU 阈值（如 0.75 和 [0.5:0.95]）下的表现如何？

主要发现

• Two-Stream AMTnet 在 UCF-101-24 和 J-HMDB-21 上达到最先进性能，优于所有对比的在线与离线 SOTA 方法，尤其在高 IoU 阈值（如 0.75 和 [0.5:0.95]）下表现突出。
• 在单张 1080Ti GPU 上，单流推理速度达 33 fps，双流推理速度达 21 fps，证明了其具备实时部署能力。
• 训练时融合策略显著提升了视频 mAP，证明其在联合外观-运动表征学习方面优于传统推理时的后期融合方法。
• 通过仅使用帧对，该模型支持稀疏标注（如 DALY、AVA），避免了以往方法中对高成本密集 k 帧标注的依赖。
• 在 J-HMDB-21 上，该模型在高 IoU 阈值下优于 Kalogeiton 等人 [7]，表现出更强的定位鲁棒性。
• 尽管为在线实时模型，该模型在 UCF-101-24 上的表现优于所有对比方法，包括表现最佳的离线模型。