[论文解读] Online Action Detection in Untrimmed, Streaming Videos - Modeling and Evaluation.

Zheng Shou, Junting Pan+6 more|arXiv (Cornell University)|Feb 19, 2018

Human Pose and Action Recognition参考文献 54被引用 26

一句话总结

本文提出了一种用于未剪辑流式视频中在线动作检测（OAD）的新颖框架，引入了新的评估协议以及三种关键方法：基于生成对抗网络（GAN）的困难负样本采样、时间一致性正则化，以及围绕动作起始点的自适应采样。该方法在THUMOS'14和ActivityNet数据集上实现了最先进性能，在具有挑战性的现实场景中显著提升了检测的及时性与准确性。

ABSTRACT

The goal of Online Action Detection (OAD) is to detect action in a timely manner and to recognize its action category. Early works focused on early action detection, which is effectively formulated as a classification problem instead of online detection in streaming videos, because these works used partially seen short video clip that begins at the start of action. Recently, researchers started to tackle the OAD problem in the challenging setting of untrimmed, streaming videos that contain substantial background shots. However, they evaluate OAD in terms of per-frame labeling, which does not require detection at the instance-level and does not evaluate the timeliness of the online detection process. In this paper, we design new protocols and metrics. Further, to specifically address challenges of OAD in untrimmed, streaming videos, we propose three novel methods: (1) we design a hard negative samples generation module based on Generative Adversarial Network (GAN) framework to better distinguish ambiguous background shots that share similar scenes but lack true characteristics of action start; (2) during training we impose a temporal consistency constraint between data around action start and data succeeding action start to model their similarity; (3) we introduce an adaptive sampling strategy to handle the scarcity of the important training data around action start. We conduct extensive experiments using THUMOS'14 and ActivityNet. We show that our proposed strategies lead to significant performance gains and improve state-of-the-art results. A systematic ablation study also confirms the effectiveness of each proposed method.

研究动机与目标

• 为解决现有OAD方法评估方式局限于帧级标注而非实例级检测的及时性问题。
• 建模在未剪辑流式视频中背景镜头模糊且与动作起始相似时，动作起始附近的时序动态特性。
• 通过解决动作起始时刻附近数据稀缺问题，提升训练效率与模型泛化能力。
• 设计一种新评估协议，以捕捉实时流式场景中在线动作检测的及时性与准确性。
• 基于THUMOS'14与ActivityNet数据集，建立未剪辑视频中OAD的系统性基准。

提出的方法

• 设计基于GAN的困难负样本生成模块，以合成在视觉上类似动作起始但缺乏真实动作特征的模糊背景片段，从而提升模型鲁棒性。
• 在训练过程中，在动作起始附近特征与之后立即的特征之间施加时间一致性约束，以建模动作边界处视觉模式的连续性。
• 引入自适应采样策略，优先并过采样动作起始时刻附近的训练实例，以解决该关键区域的数据稀缺问题。
• 提出新的评估指标与协议，聚焦于实例级检测的及时性，超越传统的帧级标注方式。
• 在未剪辑视频流上端到端训练该框架，整合时序建模与判别性学习，实现实时推理。

实验结果

研究问题

• RQ1 在背景场景与动作起始视觉相似的未剪辑流式视频中，如何提升动作起始的检测性能？
• RQ2 哪些训练策略能有效应对动作起始时刻附近信息样本稀缺的问题？
• RQ3 前后动作起始片段之间的时间一致性如何增强模型泛化能力与检测准确率？
• RQ4 基于GAN的困难负样本采样能否提升模型在模糊场景中对假阳性的区分能力？
• RQ5 与帧级标注相比，所提出的评估协议在多大程度上更能反映真实世界在线动作检测的实际表现？

主要发现

• 所提方法在THUMOS'14与ActivityNet数据集上均达到最先进性能，显著优于以往在线动作检测方法。
• 基于GAN的困难负样本采样模块显著提升了模型鲁棒性，有效减少了模糊背景场景中的假阳性检测。
• 时间一致性约束通过建模动作起始边界处视觉特征的连续性，使检测结果更加稳定与准确。
• 自适应采样策略提升了学习效率与检测性能，尤其在动作起始的关键时间窗口内表现突出。
• 消融实验证实，所提出各组件均独立且显著贡献于整体性能提升。
• 新评估协议揭示，以往方法因采用帧级标注而高估了实际性能，凸显了实例级、及时性感知基准的必要性。