[论文解读] WOAD: Weakly Supervised Online Action Detection in Untrimmed Videos

Mingfei Gao, Yingbo Zhou+3 more|arXiv (Cornell University)|Jun 5, 2020

Human Pose and Action Recognition参考文献 33被引用 4

一句话总结

WOAD 提出了一种仅使用视频级标签进行训练的弱监督在线动作检测框架，通过联合优化的时间提议生成器（TPG）生成伪帧级标签，并通过在线动作识别器（OAR）实现实时动作检测。其性能可与强监督方法相媲美，并在强监督设置下达到最先进水平。

ABSTRACT

Online action detection in untrimmed videos aims to identify an action as it happens, which makes it very important for real-time applications. Previous methods rely on tedious annotations of temporal action boundaries for training, which hinders the scalability of online action detection systems. We propose WOAD, a weakly supervised framework that can be trained using only video-class labels. WOAD contains two jointly-trained modules, i.e., temporal proposal generator (TPG) and online action recognizer (OAR). Supervised by video-class labels, TPG works offline and targets at accurately mining pseudo frame-level labels for OAR. With the supervisory signals from TPG, OAR learns to conduct action detection in an online fashion. Experimental results on THUMOS'14, ActivityNet1.2 and ActivityNet1.3 show that our weakly-supervised method largely outperforms weakly-supervised baselines and achieves comparable performance to the previous strongly-supervised methods. Beyond that, WOAD is flexible to leverage strong supervision when it is available. When strongly supervised, our method obtains the state-of-the-art results in the tasks of both online per-frame action recognition and online detection of action start.

研究动机与目标

• 通过仅使用视频级标签进行训练，解决在线动作检测中实例级时间边界标注成本过高的问题。
• 开发一种框架，在保持实时推理能力的同时，实现高精度的在线帧级动作识别与动作起始检测。
• 在有强监督信息时可灵活引入，提升性能而无需重新训练。
• 通过利用基于时间建模生成的伪标签，克服从弱监督中学习准确在线检测的挑战。

提出的方法

• WOAD 由两个联合训练的模块组成：一个离线运行的时间提议生成器（TPG），其利用视频级标签挖掘类别特定的时间动作提议。
• TPG 通过将相同动作类别的帧分组，生成伪帧级标签，从而利用时间上下文提升定位精度。
• 在线动作识别器（OAR）利用 TPG 生成的伪标签，实现实时帧级动作识别与动作起始检测。
• TPG 与 OAR 的联合训练实现了共享表征学习，提升了两个模块的性能。
• OAR 中使用时间池化和双向 LSTM 以捕捉长程依赖关系，提升起始检测的敏感性。
• 加权损失函数结合了 TPG 与 OAR 的目标，其中超参数 λ 平衡两者贡献。

实验结果

研究问题

• RQ1 能否仅使用视频级标签而无需实例级边界标注，有效训练在线动作检测？
• RQ2 如何从弱视频级监督中可靠地生成伪帧级标签，以支持在线学习？
• RQ3 联合训练的 TPG-OAR 框架是否能超越现有弱监督在线动作检测方法？
• RQ4 当强监督可用时，WOAD 的性能如何扩展？

主要发现

• 在 THUMOS’14、ActivityNet1.2 和 ActivityNet1.3 数据集上，WOAD 在弱监督设置下分别取得 54.4%、55.0% 和 54.6% 的平均 F-AP，优于现有弱监督基线方法。
• 在强监督设置下，WOAD 在相同数据集上分别取得 67.1%、66.3% 和 66.6% 的最先进平均 F-AP，超越了先前的强监督方法。
• 在单张 Tesla V100 GPU 上，模型每帧推理时间为 0.40 ms，比 TRN 快 6 倍，且参数量仅为 TRN 的 1/3（110M vs. 314M）。
• 消融实验表明，若移除时间池化或 RNN 层，性能显著下降，证实其对准确起始检测的重要性。
• 使用更精确的 TPG（BaS-Net）替代默认 TPG 后，相比 BaS-Net 基线，平均 F-AP 提升 6.8%，证明了 WOAD 框架的鲁棒性。
• 在仅包含 20 个长视频的挑战性 TVSeries 数据集上，WOAD 在弱监督下取得 59.1% 的平均 cAP，表明在低数据、长视频场景下仍存在局限性。