[论文解读] Weakly-Supervised Spatio-Temporal Anomaly Detection in Surveillance Video

Jie Wu, Wei Zhang+6 more|arXiv (Cornell University)|Aug 9, 2021

Anomaly Detection Techniques and Applications参考文献 26被引用 7

一句话总结

本文提出弱监督时空异常检测（WSSTAD），一种新型任务，仅使用视频级标签即可在未剪辑视频中定位异常事件的时空管状区域。该方法引入双分支网络，结合相互引导的渐进式优化与关系推理，以挖掘多粒度时空线索，在两个新基准上实现最先进性能：在ST-UCF-Crime数据集上达到87.65% VAUC与8.98% MIoU，在STRA数据集上达到92.88% VAUC与7.23% MIoU。

ABSTRACT

In this paper, we introduce a novel task, referred to as Weakly-Supervised Spatio-Temporal Anomaly Detection (WSSTAD) in surveillance video. Specifically, given an untrimmed video, WSSTAD aims to localize a spatio-temporal tube (i.e., a sequence of bounding boxes at consecutive times) that encloses the abnormal event, with only coarse video-level annotations as supervision during training. To address this challenging task, we propose a dual-branch network which takes as input the proposals with multi-granularities in both spatial-temporal domains. Each branch employs a relationship reasoning module to capture the correlation between tubes/videolets, which can provide rich contextual information and complex entity relationships for the concept learning of abnormal behaviors. Mutually-guided Progressive Refinement framework is set up to employ dual-path mutual guidance in a recurrent manner, iteratively sharing auxiliary supervision information across branches. It impels the learned concepts of each branch to serve as a guide for its counterpart, which progressively refines the corresponding branch and the whole framework. Furthermore, we contribute two datasets, i.e., ST-UCF-Crime and STRA, consisting of videos containing spatio-temporal abnormal annotations to serve as the benchmarks for WSSTAD. We conduct extensive qualitative and quantitative evaluations to demonstrate the effectiveness of the proposed approach and analyze the key factors that contribute more to handle this task.

研究动机与目标

• 解决仅使用粗粒度视频级标注定位监控视频中异常事件的挑战。
• 开发一种联合建模多粒度空间与时间关系的方法，以提升异常检测性能。
• 在训练过程中无需实例级或管状区域级标注，实现异常的细粒度时空定位。
• 通过两个新数据集ST-UCF-Crime与STRA，建立弱监督时空异常检测的新基准。

提出的方法

• 提出双分支网络架构，每个分支在不同空间-时间粒度处理管状区域提议，以捕捉多粒度异常概念。
• 基于多头自注意力机制设计关系推理模块，建模物体与管状区域之间的交互，整合上下文与关系线索以实现异常推理。
• 引入相互引导渐进式优化（MGPR）框架，通过循环双路径相互引导机制，迭代优化预测，实现在分支间传递学习到的概念。
• 采用混合损失函数，结合排序损失（$\mathcal{L}_{\textit{Rank}}$）与交叉熵损失（$\mathcal{L}_{\textit{CE}}$），防止分数坍塌并提升监督有效性。
• 引入多变量管状区域（MVT）模块，将相交物体聚合成管状区域；并设计关系建模模块（RMM），学习管状区域之间的动态关系。
• 设计一种新颖的训练范式，将任务视为多实例学习，其中视频级标签通过视频中存在任一异常管状区域来指示。

实验结果

研究问题

• RQ1 弱监督方法能否在无任何管状区域或帧级标注的情况下，有效定位未剪辑监控视频中的时空异常？
• RQ2 如何有效利用多粒度时空管状区域提议以提升异常检测性能？
• RQ3 双分支网络之间的相互引导在多大程度上提升了模型优化与异常定位精度？
• RQ4 不同交互机制（如MVT、RMM、GCN）对涉及物体交互的复杂异常行为检测有何影响？
• RQ5 在循环优化方案中，来自一个分支学习到的概念对另一分支的优化贡献如何？

主要发现

• 所提出的MGPR框架在ST-UCF-Crime数据集上达到87.65% VAUC与8.98% MIoU，显著优于基线方法。
• 在STRA数据集上，该方法实现92.88% VAUC与7.23% MIoU，表明其在多样化异常类型上具有强大泛化能力。
• 移除时间或空间管状区域分支均导致性能下降，证实多粒度建模的互补作用。
• 通过$\mathcal{L}_{\textit{MG-Rank}}$实现的相互引导显著优于独立使用排序损失或交叉熵损失。
• 关系建模模块（RMM）在ST-UCF-Crime与STRA数据集上分别较GCN方法提升0.66%与0.79%的MIoU，得益于学习到的自适应注意力权重。
• 消融研究证实MVT与RMM均不可或缺，其移除导致性能显著下降，凸显多层级物体交互建模的重要性。