[论文解读] Robust Unsupervised Video Anomaly Detection by Multi-Path Frame Prediction

Xuanzhao Wang, Zhengping Che+7 more|arXiv (Cornell University)|Nov 5, 2020

Anomaly Detection Techniques and Applications参考文献 62被引用 11

一句话总结

本文提出 ROADMAP，一种基于多路径 ConvGRU 的帧预测网络的鲁棒无监督视频异常检测方法，通过捕捉多尺度时空特征并引入噪声容忍损失，有效降低背景噪声干扰。该方法在 CUHK Avenue 数据集上实现了 88.3% 的帧级 AUROC，优于现有最先进方法。

ABSTRACT

Video anomaly detection is commonly used in many applications such as security surveillance and is very challenging.A majority of recent video anomaly detection approaches utilize deep reconstruction models, but their performance is often suboptimal because of insufficient reconstruction error differences between normal and abnormal video frames in practice. Meanwhile, frame prediction-based anomaly detection methods have shown promising performance. In this paper, we propose a novel and robust unsupervised video anomaly detection method by frame prediction with proper design which is more in line with the characteristics of surveillance videos. The proposed method is equipped with a multi-path ConvGRU-based frame prediction network that can better handle semantically informative objects and areas of different scales and capture spatial-temporal dependencies in normal videos. A noise tolerance loss is introduced during training to mitigate the interference caused by background noise. Extensive experiments have been conducted on the CUHK Avenue, ShanghaiTech Campus, and UCSD Pedestrian datasets, and the results show that our proposed method outperforms existing state-of-the-art approaches. Remarkably, our proposed method obtains the frame-level AUROC score of 88.3% on the CUHK Avenue dataset.

研究动机与目标

• 解决在异常罕见且无标注的监控场景中进行无监督视频异常检测的挑战。
• 改进基于重建的方法，这些方法因重建误差差异不足而难以区分正常与异常帧。
• 通过建模复杂时空依赖关系并减少噪声干扰，提升基于预测的方法性能。
• 开发一种对输入尺寸、帧数和实时推理约束具有鲁棒性的方法。

提出的方法

• 该方法采用多路径 ConvGRU 架构并结合非局部模块，以在多个分辨率和物体尺度上捕捉时空依赖关系。
• 每条路径处理不同尺度的特征图，从而有效建模语义上有意义的物体与背景的一致性。
• 在训练过程中引入一种新颖的噪声容忍损失，以抑制随机像素级噪声对预测精度的影响。
• 模型仅使用正常视频帧进行训练，通过帧预测误差实现无监督异常检测。
• 通过在多帧间复用隐藏状态，实现高效推理，显著降低计算时间且性能下降不明显。
• 超参数消融研究优化了输入帧数（P=8）、输入尺寸（256×256）和预测长度（Q），以实现速度-精度之间的最佳权衡。

实验结果

研究问题

• RQ1 与单路径或基于重建的模型相比，多路径帧预测网络是否能更好地建模监控视频中的时空动态？
• RQ2 引入噪声容忍损失如何提升在背景噪声存在下的异常检测鲁棒性？
• RQ3 在实时部署中，输入帧数、输入分辨率与推理速度之间应如何实现最佳平衡？
• RQ4 隐藏状态复用在多大程度上可提升推理效率而不降低检测性能？

主要发现

• 所提方法在 CUHK Avenue 数据集上实现了 88.3% 的帧级 AUROC，优于现有最先进方法。
• 使用 P=8 个输入帧在准确率与推理速度之间取得最佳权衡，每帧运行时间约为 109 ms。
• 在 Q=24 帧上复用预测结果，可在保持 87.5% AUROC 的同时实现 32.2 fps，满足实时性要求。
• 将输入尺寸减小至 128×128 会导致 CUHK Avenue 上 AUROC 下降 6.0 个百分点，表明对分辨率敏感。
• 将输入尺寸增至 384×384 会使推理时间翻倍，并使 CUHK Avenue 上的 AUROC 下降 1.0 个百分点，显示出收益递减现象。
• 噪声容忍损失显著提升了鲁棒性，尤其在背景噪声场景下，有效减少了由像素级波动引起的误报。