[论文解读] Video Abnormal Event Detection by Learning to Complete Visual Cloze Tests

Siqi Wang, Guang Yu+4 more|arXiv (Cornell University)|Aug 5, 2021

Anomaly Detection Techniques and Applications参考文献 74被引用 6

一句话总结

本文提出视觉填空补全（VCC），一种新颖的视频异常事件检测（VAD）方法，将VAD建模为学习完成视觉填空测试（VCT）的过程。通过利用外观和运动线索将事件定位到时空立方体（STCs）中，擦除一个区域以生成VCT，并训练深度网络以重建缺失区域及其光流，VCC在多个基准测试上实现了最先进性能，显著提升了定位精度并实现了全面的上下文建模。

ABSTRACT

Although deep neural networks (DNNs) enable great progress in video abnormal event detection (VAD), existing solutions typically suffer from two issues: (1) The localization of video events cannot be both precious and comprehensive. (2) The semantics and temporal context are under-explored. To tackle those issues, we are motivated by the prevalent cloze test in education and propose a novel approach named Visual Cloze Completion (VCC), which conducts VAD by learning to complete "visual cloze tests" (VCTs). Specifically, VCC first localizes each video event and encloses it into a spatio-temporal cube (STC). To achieve both precise and comprehensive localization, appearance and motion are used as complementary cues to mark the object region associated with each event. For each marked region, a normalized patch sequence is extracted from current and adjacent frames and stacked into a STC. With each patch and the patch sequence of a STC compared to a visual "word" and "sentence" respectively, we deliberately erase a certain "word" (patch) to yield a VCT. Then, the VCT is completed by training DNNs to infer the erased patch and its optical flow via video semantics. Meanwhile, VCC fully exploits temporal context by alternatively erasing each patch in temporal context and creating multiple VCTs. Furthermore, we propose localization-level, event-level, model-level and decision-level solutions to enhance VCC, which can further exploit VCC's potential and produce significant performance improvement gain. Extensive experiments demonstrate that VCC achieves state-of-the-art VAD performance. Our codes and results are open at https://github.com/yuguangnudt/VEC_VAD/tree/VCC.

研究动机与目标

• 解决现有基于深度神经网络（DNN）的VAD方法在实现异常事件精确定位与全面定位方面的局限性。
• 克服当前VAD方法中对视频语义和时间上下文利用不足的问题。
• 开发一种自监督学习范式，利用视觉填空测试隐式学习正常视频模式。
• 通过在定位、事件、模型和决策四个层次上的集成策略，提升VAD性能。
• 实现在无需异常事件标注的情况下有效检测异常，符合一类分类原则。

提出的方法

• 利用外观和运动作为互补线索对视频事件进行定位，生成精确定位且全面的感兴趣区域（RoI）提议。
• 通过在检测到的RoI周围堆叠归一化后的区域序列，从视频帧中提取时空立方体（STCs）。
• 通过故意擦除每个STC的中心区域（及其光流）来创建视觉填空测试（VCT）。
• 训练独立的深度神经网络（ST-UNets）以重建被擦除的区域及其光流，通过补全过程学习视频语义。
• 通过在不同时间位置擦除区域，生成多种VCT类型，以利用序列中的时间上下文。
• 应用模态与模型集成策略——VCT类型集成与模态集成——以增强鲁棒性与性能。

实验结果

研究问题

• RQ1 在无异常训练数据的情况下，视觉填空补全能否有效用于学习正常视频模式以实现异常检测？
• RQ2 与滑动窗口或帧级方法相比，所提出的VCC方法在定位精度与全面性方面有何提升？
• RQ3 学习重建缺失区域及其光流在多大程度上增强了VAD中的语义与时间上下文理解？
• RQ4 多层级集成策略（定位、事件、模型、决策）在VCC中对性能提升的贡献如何？
• RQ5 VCC能否在帧级与像素级异常检测基准测试中均超越现有最先进方法？

主要发现

• VCC在UCSD Ped2、Avenue和ShanghaiTech数据集上均实现了最先进性能，在帧级与像素级评估指标上均优于先前方法。
• 该方法显著降低了正常事件的重建误差，且完成误差在物体轮廓周围分布均匀；而异常事件则在高层物体部位表现出尖锐且集中的误差。
• 消融实验表明，若将VCT替换为标准重建任务，AUC性能下降3%–7%，验证了填空测试形式的必要性。
• 在UCSD Ped2上每帧平均推理耗时0.16秒，Avenue为0.19秒，ShanghaiTech为0.21秒，表明计算效率可接受。
• 视频事件提取步骤是主要计算瓶颈，但通过并行化独立的ST-UNet模型可进一步加速。
• 可视化结果表明，异常事件的补全误差具有语义可解释性，通常集中在误分类或扭曲的物体部位，如肢体、背包或被投掷的物体。