[论文解读] Video Vision Transformers for Violence Detection

Sanskar Singh, Shivaibhav Dewangan+4 more|arXiv (Cornell University)|Sep 8, 2022

Anomaly Detection Techniques and Applications被引用 8

一句话总结

该论文提出了一种基于视频视觉Transformer（ViViT）的端到端框架，用于在视频序列中实现自动化暴力检测，通过时空注意力机制和数据增强技术，提升在小样本数据集上的性能表现。在Hockey Fight数据集上达到97.14%的最先进准确率，在Crowd Fight数据集上达到98.46%，展现出优于以往基于CNN方法的优越泛化能力与计算效率。

ABSTRACT

Law enforcement and city safety are significantly impacted by detecting violent incidents in surveillance systems. Although modern (smart) cameras are widely available and affordable, such technological solutions are impotent in most instances. Furthermore, personnel monitoring CCTV recordings frequently show a belated reaction, resulting in the potential cause of catastrophe to people and property. Thus automated detection of violence for swift actions is very crucial. The proposed solution uses a novel end-to-end deep learning-based video vision transformer (ViViT) that can proficiently discern fights, hostile movements, and violent events in video sequences. The study presents utilizing a data augmentation strategy to overcome the downside of weaker inductive biasness while training vision transformers on a smaller training datasets. The evaluated results can be subsequently sent to local concerned authority, and the captured video can be analyzed. In comparison to state-of-theart (SOTA) approaches the proposed method achieved auspicious performance on some of the challenging benchmark datasets.

研究动机与目标

• 开发一种用于监控视频中实时暴力检测的端到端深度学习框架。
• 通过应用有效的数据增强策略，解决视频视觉Transformer在小样本训练数据下的挑战。
• 提升在多样化暴力场景（包括人与人之间的打斗和群体冲突）中的泛化能力。
• 在暴力检测任务中，实现比现有基于CNN的方法更高的准确率与计算效率。
• 通过实时视频分析，为执法机构和公共安全系统提供快速自动预警。

提出的方法

• 该模型采用视频视觉Transformer（ViViT）架构，将视频片段作为时空块序列进行处理。
• 输入视频片段被划分为大小为(8,8,8)的三维块，经过线性嵌入并应用位置编码。
• 时空标记被送入堆叠的Transformer编码器层，通过多头自注意力机制捕捉空间与时间维度上的长距离依赖关系。
• 应用数据增强策略以增强模型鲁棒性，并缓解ViT在小样本数据集上的弱归纳偏置问题。
• 最终分类头基于[CLS]标记表示，使用可学习分类器头输出二分类预测（暴力或非暴力）。
• 通过迭代验证对学习率、权重衰减、层数和块大小等超参数进行调优，以优化性能。

实验结果

研究问题

• RQ1 与现有基于CNN的模型相比，视频视觉Transformer（ViViT）架构是否能在暴力检测任务中实现更优性能？
• RQ2 在小规模暴力检测数据集上，数据增强策略在提升ViT性能方面有多有效？
• RQ3 所提出的模型是否能跨不同类型暴力事件（包括人与人之间的打斗和群体冲突）实现良好泛化？
• RQ4 多头自注意力机制与基于块的处理方式对视频分类中时空特征学习有何影响？
• RQ5 与最先进方法相比，该模型在基准数据集上的准确率与训练稳定性如何？

主要发现

• 所提出的基于ViViT的模型在Hockey Fight数据集上实现了96.57%的训练准确率与97.14%的验证准确率。
• 在Crowd Fight数据集上，模型达到98.73%的训练准确率与98.46%的验证准确率，优于先前的SOTA方法。
• 模型展现出稳定的训练曲线，训练损失与验证损失之间的差距极小，表明泛化能力良好且无显著过拟合。
• 在两个数据集上，精确率、召回率与F1分数指标均保持高水平，证实分类器性能稳健，超越整体准确率的衡量。
• 该模型在所有列出的SOTA方法（包括3D-CNN、CNN+LSTM与集成模型）中均表现更优，适用于两个基准数据集。
• 该架构展现出良好的计算效率与可扩展性，适用于监控系统中的实时部署。