[论文解读] TACNet: Transition-Aware Context Network for Spatio-Temporal Action Detection

Lin Song, Shiwei Zhang+2 more|arXiv (Cornell University)|May 31, 2019

Human Pose and Action Recognition参考文献 24被引用 8

一句话总结

TACNet 提出了一种过渡感知上下文网络，通过在基于循环 SSD 的检测器中整合长期时间上下文，并引入一种过渡感知分类器以区分模糊的过渡状态与真实动作，从而提升时空动作检测性能。该方法在未修剪的 UCF101-24 数据集上实现了最先进性能，在 0.5 IoU 阈值下的视频 mAP 提升了 3.7%。

ABSTRACT

Current state-of-the-art approaches for spatio-temporal action detection have achieved impressive results but remain unsatisfactory for temporal extent detection. The main reason comes from that, there are some ambiguous states similar to the real actions which may be treated as target actions even by a well-trained network. In this paper, we define these ambiguous samples as "transitional states", and propose a Transition-Aware Context Network (TACNet) to distinguish transitional states. The proposed TACNet includes two main components, i.e., temporal context detector and transition-aware classifier. The temporal context detector can extract long-term context information with constant time complexity by constructing a recurrent network. The transition-aware classifier can further distinguish transitional states by classifying action and transitional states simultaneously. Therefore, the proposed TACNet can substantially improve the performance of spatio-temporal action detection. We extensively evaluate the proposed TACNet on UCF101-24 and J-HMDB datasets. The experimental results demonstrate that TACNet obtains competitive performance on JHMDB and significantly outperforms the state-of-the-art methods on the untrimmed UCF101-24 in terms of both frame-mAP and video-mAP.

研究动机与目标

• 解决现有方法因模糊的过渡状态而难以准确检测时间范围的局限性。
• 通过利用长期时间上下文信息，提升时空动作检测性能。
• 减少因将过渡状态错误分类为实际动作而引起的时间误差。
• 开发一种统一框架，联合建模空间检测与时间上下文，提升泛化能力。

提出的方法

• 时间上下文检测器采用改进的 SSD 框架，通过引入多尺度双向 Conv-LSTM 单元，以恒定时间复杂度编码长期时间上下文。
• 过渡感知分类器同时对动作和过渡状态进行分类，从而减少模糊样本引起的时间误差。
• 引入一种通用且可微分的训练模式，以加速训练过程中的模型收敛。
• 网络在未修剪视频上端到端进行训练，通过时间链接生成帧级检测结果和时间管状结构。
• 通过视频片段的循环处理捕获长期上下文，实现对如“跳远”等长时间动作的建模。
• 该方法在 UCF101-24 和 J-HMDB 数据集上进行评估，采用帧级和视频级 mAP 指标。

实验结果

研究问题

• RQ1 如何在保持恒定时间复杂度的前提下，高效建模时空动作检测中的长期时间上下文？
• RQ2 区分过渡状态在多大程度上能提升时间定位的准确性？
• RQ3 统一的网络架构能否联合优化空间检测与时间上下文建模？
• RQ4 所提出方法在未修剪视频数据集上与最先进方法相比表现如何？

主要发现

• 在未修剪的 UCF101-24 数据集上，TACNet 的视频 mAP 达到 58.3%，在 0.5 IoU 阈值下比之前最先进方法 ACT 提升了 3.7 个百分点。
• 在同一数据集上，与 T-CNN 相比，TACNet 在 0.5 IoU 阈值下将帧 mAP 提升了 28.5%，视频 mAP 提升了 30.4%。
• 过渡感知分类器将时间误差降低了 35%-40%，而这些误差在 ACT 中曾是主要误差来源。
• 使用 ResNet-50 和 DSSD 主干网络可进一步提升性能，使 UCF101-24 上的视频 mAP 达到 79.2%。
• 在修剪过的 J-HMDB 数据集上，TACNet 也取得了具有竞争力的性能，表明其在不同类型视频上的鲁棒性。
• 消融实验表明，时间上下文检测器和过渡感知分类器均对整体性能提升有显著贡献。