[论文解读] Video Anomaly Detection and Explanation via Large Language Models

Hui Lv, Qianru Sun|arXiv (Cornell University)|Jan 11, 2024

Anomaly Detection Techniques and Applications被引用 4

一句话总结

本文提出 VAD-LLaMA，一种基于视频的大型语言模型（VLLM）的视频异常检测框架，可消除对阈值的依赖并提供检测到的异常的文本解释。通过引入长时程上下文（LTC）模块以增强长距离视频理解能力，并采用三阶段训练方法以降低数据与标注成本，该方法在 UCF-Crime 上取得 88.13% 的 SOTA AUC 分数，在 TAD 上取得 91.77% 的 SOTA AUC 分数，具备可解释的异常检测能力。

ABSTRACT

Video Anomaly Detection (VAD) aims to localize abnormal events on the timeline of long-range surveillance videos. Anomaly-scoring-based methods have been prevailing for years but suffer from the high complexity of thresholding and low explanability of detection results. In this paper, we conduct pioneer research on equipping video-based large language models (VLLMs) in the framework of VAD, making the VAD model free from thresholds and able to explain the reasons for the detected anomalies. We introduce a novel network module Long-Term Context (LTC) to mitigate the incapability of VLLMs in long-range context modeling. We design a three-phase training method to improve the efficiency of fine-tuning VLLMs by substantially minimizing the requirements for VAD data and lowering the costs of annotating instruction-tuning data. Our trained model achieves the top performance on the anomaly videos of the UCF-Crime and TAD benchmarks, with the AUC improvements of +3.86\% and +4.96\%, respectively. More impressively, our approach can provide textual explanations for detected anomalies.

研究动机与目标

• 开发一种既无阈值又内在可解释的视频异常检测（VAD）系统，以克服基于分数方法的局限性。
• 解决现有 VLLM 在长时长监控视频中长期上下文建模能力差的问题。
• 通过设计高效的三阶段训练策略，降低对大规模、领域特定 VAD 标注数据的依赖。
• 使 VLLM 能够以符合人类感知的方式检测并解释异常，而非将无关物体误判为异常。
• 在标准弱监督 VAD 基准上实现 SOTA 性能，同时提供基于多轮对话的异常解释。

提出的方法

• 引入长时程上下文（LTC）模块，通过在线维护最正常和最异常的前 K 个视频片段特征列表，利用交叉注意力和加权求和操作将它们融合，以增强视频表征能力。
• 采用三阶段训练流程：(1) 预训练基线 VADor，(2) 在自生成的异常分数上联合训练 VADor 与 LTC，(3) 使用合成指令模板微调 VLLM。
• 以 Video-LLaMA 的视频编码器提取的视频片段特征作为 VADor 的输入，实现端到端训练，仅需极少人工标注数据。
• 利用基线 VADor 生成自监督异常分数，构建合成指令微调数据集，最大限度减少人工标注工作量。
• 在推理过程中采用动态列表更新机制，对每个新视频片段进行评估，并实时更新正常/异常特征列表。
• 使用文本模板生成 VLLM 指令微调数据，使其能够回答如“是否存在异常？”和“异常的原因是什么？”等问题。

Figure 1 : Prediction scores from a baseline VAD model, and clip descriptions by using VLLMs, for a car accident video (as shown in the middle of the figure). On the score curve, the red dashed lines denote anomaly thresholds. The bottom shows the answers from Video-LLaMA [ 24 ] by feeding it with t

实验结果

研究问题

• RQ1 VLLM 能否被有效集成到 VAD 中，以实现无阈值、可解释的异常检测？
• RQ2 当 VLLM 通常在短时视频上预训练时，如何使其适应长时程视频上下文？
• RQ3 三阶段训练策略能否显著减少对昂贵 VAD 标注数据的依赖，同时保持高性能？
• RQ4 在 LTC 模块中引入长期正常与异常上下文是否能提升异常检测的鲁棒性与可解释性？
• RQ5 模型能否生成与人类认知一致的解释，准确识别真实异常（如车祸），而非将无关物体误判为异常？

主要发现

• 所提出的 VAD-LLaMA 在 UCF-Crime 基准上实现了 88.13% 的新 SOTA AUC 分数，相较于之前 SOTA 在 TAD 上提升 +2.26%，在 UCF-Crime 上提升 +0.85%。
• 与基线相比，模型在 UCF-Crime 上 AUC 提升 +3.86%，在 TAD 上提升 +4.96%，证明了 LTC 模块与训练策略的有效性。
• 消融实验证实，LTC 模块中同时使用正常与异常上下文列表可获得最高性能，K=4 为最优列表长度。
• 类别级分析表明，模型在需要上下文推理的长距离异常类别（如“纵火”和“偷窃”）上显著优于基线模型。
• 模型在多轮对话中生成准确、与人类认知一致的解释，能正确识别异常原因（如“车祸”），并避免对无关物体产生误报。
• 三阶段训练方法显著减少了对指令微调数据的人工标注需求，实现了在有限 VAD 数据集上对 VLLM 的高效微调。

Figure 2 : The network architecture of the proposed VAD-LLaMA. It consists of a Video Anomaly Detector (VADor) with the Long-Term Context (LTC) module and a simple Anomaly Predictor (AP), a projection layer (called Adaptor), and the pre-trained Video-LLaMA [ 24 ] (composed by a Video Encoder (VE) an