[论文解读] Multiple Instance-Based Video Anomaly Detection using Deep Temporal Encoding-Decoding

Ammar Mansoor Kamoona, Amirali Khodadadian Gosta+2 more|arXiv (Cornell University)|Jul 3, 2020

Anomaly Detection Techniques and Applications被引用 9

一句话总结

本文提出了一种基于多实例学习的弱监督深度时序编码-解码网络，用于视频异常检测，将视频片段建模为序列数据以捕捉时空演化。该方法引入了一种新颖的损失函数，通过最大化正常与异常预测之间的距离，在 UCF-Crime 数据集上实现了最低误报率的最先进性能，并在 ShanghaiTech 数据集上取得了具有竞争力的结果。

ABSTRACT

In this paper, we propose a weakly supervised deep temporal encoding-decoding solution for anomaly detection in surveillance videos using multiple instance learning. The proposed approach uses both abnormal and normal video clips during the training phase which is developed in the multiple instance framework where we treat video as a bag and video clips as instances in the bag. Our main contribution lies in the proposed novel approach to consider temporal relations between video instances. We deal with video instances (clips) as a sequential visual data rather than independent instances. We employ a deep temporal and encoder network that is designed to capture spatial-temporal evolution of video instances over time. We also propose a new loss function that is smoother than similar loss functions recently presented in the computer vision literature, and therefore; enjoys faster convergence and improved tolerance to local minima during the training phase. The proposed temporal encoding-decoding approach with modified loss is benchmarked against the state-of-the-art in simulation studies. The results show that the proposed method performs similar to or better than the state-of-the-art solutions for anomaly detection in video surveillance applications.

研究动机与目标

• 解决由于异常视频中缺乏时间标注而导致的弱监督视频异常检测挑战。
• 通过将视频片段建模为序列数据而非独立实例，改进现有多实例学习框架。
• 通过设计更平滑、更鲁棒的损失函数来惩罚错误的正常预测，从而降低监控应用中的误报率。
• 通过端到端深度学习结合时序建模，在 UCF-Crime 和 ShanghaiTech 等基准数据集上实现最先进性能。
• 通过分层时空特征学习，实现实时监控视频中异常事件的有效定位。

提出的方法

• 在多实例学习框架中，将每段视频视为一个“包”（bag），将单个片段视为包内的“实例”（instance），训练时同时使用正常和异常视频。
• 采用深度时序编码-解码网络，捕捉跨序列视频片段的低、中、高级时空特征。
• 使用平均池化将实例级预测聚合为包级预测，相比先前工作中使用的最大池化，实现了更平滑的映射。
• 设计一种新颖的损失函数，通过最大化正常与异常实例预测嵌入的平均距离来优化模型，并在正常实例被错误分类为异常时施加惩罚。
• 在训练过程中应用该损失函数，通过强制正常与异常预测之间保持清晰的边界来最小化误报。
• 使用 C3D 特征端到端训练模型，并采用随机梯度下降优化，结合所提出的损失函数，实现在无需帧级标注情况下的弱监督。

实验结果

研究问题

• RQ1 在弱监督视频异常检测中，如何有效建模视频片段之间的时序依赖关系？
• RQ2 通过捕捉分层时空表征，深度时序编码-解码网络是否能提升异常检测性能？
• RQ3 通过强制正常与异常预测之间更大的边界来惩罚误报的改进损失函数，是否能带来更好的泛化能力？
• RQ4 在基准数据集上，该方法与最先进方法相比，在异常检测准确率和误报率方面表现如何？
• RQ5 在弱监督设置下，用于有效序列建模的最优时间卷积核大小是多少？

主要发现

• 所提方法在 UCF-Crime 数据集上实现了最先进水平的误报率，显著优于基线方法和先前的 SOTA 方法。
• 在 ShanghaiTech 数据集上，模型取得了 87.42% 的 AUC，较 Zhong 等人 [20] 提升 11.23%，较 Zhaeer 等人 [53] 提升 3%，但略低于 Zaheer 等人 [21] 的 2.36%。
• 消融研究显示，仅使用所提损失函数与 ED-TCN 网络时，AUC 为 76.56%，低于所提方法的 79.49%，证明了联合架构与损失函数的有效性。
• 在包级聚合中，将最大池化替换为平均池化，实现了更平滑的预测映射，有助于降低误报。
• 在 UCF-Crime 数据集上，时间卷积核大小为 4 时，AUC 表现最佳（79.49%），表明该设置具备最优的序列建模能力。
• 所提损失函数通过惩罚将正常片段分配为高异常分数的情况，有效降低了误报，这一点在 50% 阈值下低误报率中得到验证。