[论文解读] Real-Time Action Detection in Video Surveillance using Sub-Action Descriptor with Multi-CNN

Cheng‐Bin Jin, Shengzhe Li+1 more|arXiv (Cornell University)|Oct 10, 2017

Human Pose and Action Recognition被引用 27

一句话总结

本论文提出了一种用于视频监控的实时动作检测框架，通过使用多分支CNN的子动作描述符来解决动作表征不完整的问题。通过在三个层次上建模动作——姿态、运动和手势，该方法在基于视频的检测任务中实现了83.5%的mAP，且推理速度超过80 fps，在KTH和ICVL数据集上优于当前最先进方法。

ABSTRACT

When we say a person is texting, can you tell the person is walking or sitting? Emphatically, no. In order to solve this incomplete representation problem, this paper presents a sub-action descriptor for detailed action detection. The sub-action descriptor consists of three levels: the posture, the locomotion, and the gesture level. The three levels give three sub-action categories for one action to address the representation problem. The proposed action detection model simultaneously localizes and recognizes the actions of multiple individuals in video surveillance using appearance-based temporal features with multi-CNN. The proposed approach achieved a mean average precision (mAP) of 76.6% at the frame-based and 83.5% at the video-based measurement on the new large-scale ICVL video surveillance dataset that the authors introduce and make available to the community with this paper. Extensive experiments on the benchmark KTH dataset demonstrate that the proposed approach achieved better performance, which in turn boosts the action recognition performance over the state-of-the-art. The action detection model can run at around 25 fps on the ICVL and more than 80 fps on the KTH dataset, which is suitable for real-time surveillance applications.

研究动机与目标

• 为解决视频监控中动作表征不完整的问题，例如‘发短信’这类动作缺乏姿势或运动等上下文细节。
• 通过将动作分解为三个子动作层次（姿态、运动和手势）来提升动作检测的准确性。
• 开发一种适用于实际监控应用的实时多人动作检测系统。
• 引入一个新的大规模ICVL视频监控数据集以支持基准测试。
• 在保持高推理速度的同时，实现动作检测的最先进性能。

提出的方法

• 子动作描述符通过三个分层的层次编码动作：姿态（静态身体构型）、运动（运动类型）和手势（手部或物体交互）。
• 采用多分支CNN架构，从视频片段中提取基于外观的时序特征，每个分支处理不同的子动作组件。
• 模型融合来自所有三个子动作层次的特征，实现实时联合定位与识别动作。
• 通过在CNN分支中使用3D卷积层进行时空特征学习，增强时序建模能力。
• 框架采用两阶段检测流程：候选区域生成后，再通过多CNN架构进行分类。
• 系统在新引入的ICVL数据集上进行端到端训练，并在KTH数据集上进行微调，以实现跨数据集的泛化能力。

实验结果

研究问题

• RQ1 分层的子动作描述符是否能改善视频监控中复杂动作的表征？
• RQ2 对姿态、运动和手势三个层次的建模如何影响动作检测的准确性？
• RQ3 多CNN架构是否能在大规模数据集上实现高mAP的同时保持实时性能？
• RQ4 所提出的方法是否能在多样化的视频监控场景和数据集上实现良好的泛化能力？
• RQ5 在实时监控系统中，检测准确率与推理速度之间存在怎样的权衡？

主要发现

• 所提方法在新引入的ICVL数据集上进行基于视频的动作检测，实现了83.5%的平均平均精度（mAP），在复杂动作上表现出色。
• 在KTH基准上，该模型实现了最先进性能，优于现有方法的动作识别准确率。
• 在KTH数据集上，系统推理速度超过80 fps，在ICVL数据集上约为25 fps，证实了其在监控应用中的实时可行性。
• 子动作描述符通过捕捉姿势和运动上下文等细粒度细节，显著提升了动作表征能力。
• ICVL数据集的引入为大规模视频监控动作检测研究提供了新的基准。
• 消融实验表明，三个子动作层次（姿态、运动、手势）均对最终检测性能有显著贡献。