[论文解读] Video Event Restoration Based on Keyframes for Video Anomaly Detection

Zhiwei Yang, Jing Liu+3 more|arXiv (Cornell University)|Apr 11, 2023

Anomaly Detection Techniques and Applications被引用 7

一句话总结

该论文提出了一种基于从关键帧恢复视频事件的新型视频异常检测（VAD）范式，引入一种具有双重跳跃连接的U型Swin Transformer网络（USTN-DSC），以学习高层视觉特征和时序上下文。该方法在三个基准数据集上实现了最先进性能，AUC分数分别为98.1%（Ped2）、89.9%（Avenue）和73.8%（ShanghaiTech），通过一种新颖的相邻帧差异损失，展现出卓越的异常检测灵敏度和运动一致性。

ABSTRACT

Video anomaly detection (VAD) is a significant computer vision problem. Existing deep neural network (DNN) based VAD methods mostly follow the route of frame reconstruction or frame prediction. However, the lack of mining and learning of higher-level visual features and temporal context relationships in videos limits the further performance of these two approaches. Inspired by video codec theory, we introduce a brand-new VAD paradigm to break through these limitations: First, we propose a new task of video event restoration based on keyframes. Encouraging DNN to infer missing multiple frames based on video keyframes so as to restore a video event, which can more effectively motivate DNN to mine and learn potential higher-level visual features and comprehensive temporal context relationships in the video. To this end, we propose a novel U-shaped Swin Transformer Network with Dual Skip Connections (USTN-DSC) for video event restoration, where a cross-attention and a temporal upsampling residual skip connection are introduced to further assist in restoring complex static and dynamic motion object features in the video. In addition, we propose a simple and effective adjacent frame difference loss to constrain the motion consistency of the video sequence. Extensive experiments on benchmarks demonstrate that USTN-DSC outperforms most existing methods, validating the effectiveness of our method.

研究动机与目标

• 解决现有基于深度神经网络（DNN）的VAD方法在有效学习高层视觉特征和全面时序上下文方面的局限性。
• 克服基于帧重建或预测的VAD方法的不足，这些方法因对低层次模式过拟合而在异常样本上表现不佳。
• 提出一种受视频编解码理论启发的新VAD范式，即利用DNN从稀疏关键帧恢复完整视频事件。
• 设计一种USTN-DSC模型，主动挖掘时空关系，并提升对复杂静态与动态运动物体的恢复能力。
• 验证一种新型相邻帧差异损失在强化恢复视频序列中运动一致性的有效性。

提出的方法

• 提出一种新VAD范式：从关键帧恢复视频事件，即DNN仅以关键帧为输入，推断缺失帧。
• 设计一种具有双重跳跃连接的U型Swin Transformer网络（USTN-DSC），结合编码器-解码器结构与多尺度特征学习。
• 引入跨注意力跳跃连接，以增强编码器与解码器特征在空间和时间维度上的交互。
• 引入时序上采样残差跳跃连接，以在视频帧重建过程中保留细粒度运动细节。
• 采用一种新颖的相邻帧差异损失（AFDL），通过最小化连续恢复帧之间的像素差异，强制实现运动一致性。
• 端到端训练模型，使用重建损失与AFDL，以关键帧为输入，全视频序列为目标。

实验结果

研究问题

• RQ1 与传统的重建或预测方法相比，从关键帧恢复视频事件是否能作为更有效的无监督视频异常检测范式？
• RQ2 双重跳跃连接（特别是跨注意力与时序上采样连接）在视频恢复中如何提升对复杂运动与静态特征的建模能力？
• RQ3 相邻帧差异损失在基于视频恢复的VAD中，能在多大程度上增强运动一致性与检测性能？
• RQ4 Swin Transformer模块的深度（N）如何影响模型捕捉多样化视频场景中时空依赖关系的能力？
• RQ5 所提出方法在具有不同场景复杂度与运动模式的数据集上是否具备良好的泛化能力？

主要发现

• USTN-DSC模型在三个基准数据集上均达到最先进性能，AUC分数分别为Ped2的98.1%、Avenue的89.9%和ShanghaiTech的73.8%。
• 引入双重跳跃连接后，Ped2、Avenue和ShanghaiTech的AUC分别提升7.0、6.7和6.4个百分点，证明其关键作用。
• 跨注意力跳跃连接贡献最大，分别使三个数据集的性能提升5.3%、4.7%和3.8%。
• 相邻帧差异损失（AFDL）使Ped2、Avenue和ShanghaiTech的AUC分别提升0.9、1.4和2.3分，其中ShanghaiTech因运动模式复杂，增益最大。
• 将Swin Transformer模块深度（N）从2增加到6，使Ped2、Avenue和ShanghaiTech的AUC分别提升1.0、2.1和2.3分，表明复杂场景需要更强的建模能力。
• 该方法对异常表现出强敏感性，异常事件发生时异常分数迅速上升，消失后迅速回落至基线水平。