[论文解读] Weakly-supervised Video Anomaly Detection with Robust Temporal Feature Magnitude Learning

Yu Tian, Guansong Pang+4 more|arXiv (Cornell University)|Jan 25, 2021

Anomaly Detection Techniques and Applications被引用 5

一句话总结

本文提出了一种名为鲁棒时间特征幅度（RTFM）学习的新方法，用于弱监督视频异常检测，通过学习特征幅度来更好地识别罕见的异常片段，从而改进基于MIL的模型。RTFM增强了对异常视频中正常片段的鲁棒性，在四个基准数据集上实现了最先进性能，提升了对细微异常的检测能力与样本效率。

ABSTRACT

Anomaly detection with weakly supervised video-level labels is typically formulated as a multiple instance learning (MIL) problem, in which we aim to identify snippets containing abnormal events, with each video represented as a bag of video snippets. Although current methods show effective detection performance, their recognition of the positive instances, i.e., rare abnormal snippets in the abnormal videos, is largely biased by the dominant negative instances, especially when the abnormal events are subtle anomalies that exhibit only small differences compared with normal events. This issue is exacerbated in many methods that ignore important video temporal dependencies. To address this issue, we introduce a novel and theoretically sound method, named Robust Temporal Feature Magnitude learning (RTFM), which trains a feature magnitude learning function to effectively recognise the positive instances, substantially improving the robustness of the MIL approach to the negative instances from abnormal videos. RTFM also adapts dilated convolutions and self-attention mechanisms to capture long- and short-range temporal dependencies to learn the feature magnitude more faithfully. Extensive experiments show that the RTFM-enabled MIL model (i) outperforms several state-of-the-art methods by a large margin on four benchmark data sets (ShanghaiTech, UCF-Crime, XD-Violence and UCSD-Peds) and (ii) achieves significantly improved subtle anomaly discriminability and sample efficiency. Code is available at https://github.com/tianyu0207/RTFM.

研究动机与目标

• 解决仅在视频级别进行标注的视频中检测罕见异常片段的挑战，其中正常片段占主导地位并掩盖了异常事件。
• 提升多实例学习（MIL）方法对异常视频中负样本的鲁棒性，尤其针对细微异常。
• 通过空洞卷积和自注意力机制，捕捉短程与长程时间依赖关系，以增强特征学习。
• 通过将特征幅度作为比分类分数更强的训练信号，实现对异常视频数据的更好利用。
• 与现有最先进方法相比，实现对细微异常更高的可分性以及更高的样本效率。

提出的方法

• 提出一种特征幅度学习函数，将视频片段映射为标量幅度，其中高幅度表示异常，低幅度表示正常。
• 集成空洞卷积与自注意力机制，以建模视频片段中的长程与短程时间依赖关系。
• 基于top-k实例MIL制定训练目标，最大化异常与正常片段的平均特征幅度之间的差异。
• 联合优化特征幅度学习与MIL分类，以在特征空间中强制正常与异常片段之间形成大间隔。
• 使用特征的ℓ₂-范数作为异常分数的代理，即使在异常较为细微时也能实现有效检测。
• 设计了一个理论基础坚实的框架，预期top-k异常片段的平均幅度将高于正常片段，从而确保更好的可分性。

实验结果

研究问题

• RQ1 特征幅度学习能否提升基于MIL的视频异常检测方法对异常视频中主导正常片段的鲁棒性？
• RQ2 在弱监督设置下，捕捉长程与短程时间依赖关系是否能增强对细微异常的可分性？
• RQ3 在MIL中，特征幅度能否作为比分类分数更强的正样本识别训练信号？
• RQ4 与现有最先进方法相比，RTFM在提升样本效率及检测稀有或细微异常方面能达到何种程度？
• RQ5 在真实世界数据集中，top-k异常片段的平均特征幅度高于正常片段的假设是否具有经验上的有效性？

主要发现

• RTFM在ShanghaiTech数据集上达到97.21%的AUC，在UCF-Crime数据集上达到84.30%的AUC，显著优于基线模型与最先进方法。
• 消融实验表明，仅添加特征幅度（FM）模块即可使ShanghaiTech的AUC提升超过7%，UCF-Crime的AUC提升超过4%，证明其具有显著影响。
• 将空洞卷积（PDC）与时间自注意力（TSA）结合FM模块后，在ShanghaiTech上达到92.32%的AUC，在UCF-Crime上达到82.12%的AUC，表明二者具有互补优势。
• 经验验证表明，top-k异常片段的平均特征幅度（53.4）显著高于正常片段（7.7），支持了理论假设。
• 该模型能够成功检测单个视频中的多个异常事件，包括偷窃、商店行窃等细微动作，即使视觉差异极小。
• 异常分数显示，异常片段（平均0.85）与正常片段（平均0.13）之间存在显著差距，表明在特征空间中实现了有效分离。