[论文解读] Weakly-supervised Video Anomaly Detection with Contrastive Learning of Long and Short-range Temporal Features.

Yu Tian, Guansong Pang+4 more|arXiv (Cornell University)|Jan 25, 2021

Anomaly Detection Techniques and Applications参考文献 44被引用 7

一句话总结

本文提出MTN-KMIL，一种弱监督视频异常检测方法，通过结合空洞卷积金字塔与自注意力机制，建模多尺度的短程与长程时序依赖关系，同时利用top-K对比多实例学习，在特征与分数层面强制实现正常与异常片段之间的大间隔，从而在ShanghaiTech、UCF-Crime和XD-Violence数据集上取得最先进性能。

ABSTRACT

In this paper, we address the problem of weakly-supervised video anomaly detection, in which given video-level labels for training, we aim to identify in test videos, the snippets containing abnormal events. Although current methods based on multiple instance learning (MIL) show effective detection performance, they ignore important video temporal dependencies. Also, the number of abnormal snippets can vary per anomaly video, which complicates the training process of MIL-based methods because they tend to focus on the most abnormal snippet -- this can cause it to mistakenly select a normal snippet instead of an abnormal snippet, and also to fail to select all abnormal snippets available. We propose a novel method, named Multi-scale Temporal Network trained with top-K Contrastive Multiple Instance Learning (MTN-KMIL), to address the issues above. The main contributions of MTN-KMIL are: 1) a novel synthesis of a pyramid of dilated convolutions and a self-attention mechanism, with the former capturing the multi-scale short-range temporal dependencies between snippets and the latter capturing long-range temporal dependencies; and 2) a novel contrastive MIL learning method that enforces large margins between the top-K normal and abnormal video snippets at the feature representation level and anomaly score level, resulting in accurate anomaly discrimination. Extensive experiments show that our method outperforms several state-of-the-art methods by a large margin on three benchmark data sets (ShanghaiTech, UCF-Crime and XD-Violence). The code is available at this https URL

研究动机与目标

• 为解决现有基于MIL的方法在弱监督视频异常检测中的局限性，这些方法通常忽略时序依赖关系，且难以应对异常片段数量的可变性。
• 通过建模视频片段中的短程与长程时序依赖关系，提升异常检测性能。
• 提出一种对比学习策略，确保在特征与分数层面，top-K正常片段与top-K异常片段之间保持大间隔。
• 在类别不平衡与异常时长可变的情况下，实现对所有异常片段的准确区分。

提出的方法

• 设计一个多尺度时序网络（MTN），利用空洞卷积金字塔捕捉多感受野下的短程时序依赖关系。
• 将自注意力机制集成到MTN中，以建模远距离视频片段之间的长程时序依赖关系。
• 提出一种top-K对比多实例学习（KMIL）框架，用于将top-K最异常的片段与top-K最正常的片段进行比较。
• 在特征表示层面与异常分数层面同时施加大间隔约束，以提升正常与异常片段之间的判别能力。
• 应用对比损失，确保嵌入空间中top-K异常片段的特征与top-K正常片段的特征保持分离。
• 使用视频级标签进行端到端训练，实现无需片段级标注的弱监督学习。

实验结果

研究问题

• RQ1 建模短程与长程时序依赖关系是否能提升弱监督视频异常检测性能？
• RQ2 如何将对比学习适配到多实例学习中，以更好地区分正常与异常片段？
• RQ3 在异常时长可变的视频中，在特征与分数层面同时施加大间隔约束，是否能提升异常判别能力？
• RQ4 所提出的MTN-KMIL方法是否在标准基准上超越现有最先进方法？

主要发现

• MTN-KMIL在ShanghaiTech数据集上达到最先进性能，显著优于先前方法。
• 在UCF-Crime数据集上，该方法的平均平均精度（mAP）高于现有最先进方法。
• 在XD-Violence数据集上，MTN-KMIL展现出更优的检测精度，尤其在识别多重或长时长异常方面表现突出。
• 消融实验验证了多尺度时序建模与对比KMIL损失对性能提升的显著贡献。
• 该模型对异常片段数量的可变性具有鲁棒性，避免了仅关注最异常片段的常见问题。