[论文解读] Video Anomaly Detection By The Duality Of Normality-Granted Optical Flow

Hongyong Wang, Xinjian Zhang+2 more|arXiv (Cornell University)|May 10, 2021

Anomaly Detection Techniques and Applications参考文献 43被引用 5

一句话总结

该论文提出了一种基于预测的新型视频异常检测方法，利用正常性赋予的光流双重特性来区分异常帧与正常帧。通过从单帧预测光流以指导下一帧的预测，模型利用了正常运动模式可被一致预测的特性，而异常运动则引入误差——从而通过预测质量实现异常检测。该方法在标准基准上取得了最先进性能。

ABSTRACT

Video anomaly detection is a challenging task because of diverse abnormal events. To this task, methods based on reconstruction and prediction are wildly used in recent works, which are built on the assumption that learning on normal data, anomalies cannot be reconstructed or predicated as good as normal patterns, namely the anomaly result with more errors. In this paper, we propose to discriminate anomalies from normal ones by the duality of normality-granted optical flow, which is conducive to predict normal frames but adverse to abnormal frames. The normality-granted optical flow is predicted from a single frame, to keep the motion knowledge focused on normal patterns. Meanwhile, We extend the appearance-motion correspondence scheme from frame reconstruction to prediction, which not only helps to learn the knowledge about object appearances and correlated motion, but also meets the fact that motion is the transformation between appearances. We also introduce a margin loss to enhance the learning of frame prediction. Experiments on standard benchmark datasets demonstrate the impressive performance of our approach.

研究动机与目标

• 为解决在无监督学习下检测视频监控中多样且极少标注的异常事件的挑战。
• 克服先前方法在帧与光流预测之间共享潜在空间所导致的时间冲突问题。
• 利用正常性赋予的光流双重特性——对正常运动有帮助但对异常运动具有破坏性——以增强异常判别能力。
• 将外观-运动对应关系从重建扩展到预测，与光流作为像素位移的物理本质保持一致。
• 通过边缘损失提升帧预测的鲁棒性，强调帧间差异。

提出的方法

• 从单个当前帧预测下一帧外观，由同一帧预测的光流进行引导。
• 使用仅在正常数据上训练的正常性赋予光流网络，生成与正常行为一致的运动模式。
• 采用带有卷积层的区域对应学习策略，对齐外观与运动特征，提升对直接光流变形的鲁棒性。
• 引入边缘损失，强制预测帧与输入帧不同，增强对运动变化的敏感性。
• 采用基于PSNR的块评估方法评分预测质量，PSNR越低表示异常置信度越高。
• 利用光流的双重特性：对正常帧有帮助（提升预测），对异常帧则有害（增加误差），从而实现异常检测。

实验结果

研究问题

• RQ1 正常性赋予的光流双重特性是否能通过提升正常事件的预测准确性并降低异常事件的预测准确性，从而改善异常检测？
• RQ2 从单帧预测光流相比联合帧与光流预测，在运动建模方面有何改进？
• RQ3 边缘损失在多大程度上增强了模型区分连续帧间运动变化的能力？
• RQ4 将外观-运动对应关系从重建扩展到预测，是否能提升异常检测性能？
• RQ5 所提出方法在标准视频异常检测基准上与最先进方法相比表现如何？

主要发现

• 所提方法在三个标准基准（UCSD Ped2、CUHK Avenue 和 ShanghaiTech）上均达到最先进性能。
• 在CUHK Avenue数据集上，模型AUC达到88.41，消融实验表明光流引导带来3%的性能提升，边缘损失带来1%的提升。
• 模型预测速度为77 fps，完整检测速度为47 fps，可在单张GPU上实现实时推理。
• 视觉分析表明，预测帧中异常区域更加模糊且不准确，尤其在跳跃的儿童或自行车等情况下，物体部分消失或发生畸变。
• 基于PSNR的异常评分掩码能有效突出异常区域，较暗的区域表示更高的异常检测置信度。
• 消融实验确认，光流引导与边缘损失均至关重要，前者对性能提升贡献显著。