[论文解读] SSIVD-Net: A Novel Salient Super Image Classification & Detection Technique for Weaponized Violence

Toluwani Aremu, Zhiyuan Li+3 more|arXiv (Cornell University)|Jul 26, 2022

Anomaly Detection Techniques and Applications被引用 4

一句话总结

本文提出SSIVD-Net，一种新颖的显著性超图像表征技术，将3D监控视频转换为2D显著性超图像，以简化暴力检测同时降低计算负载和信息损失。该方法实现了最先进性能，在MovieFight和HockeyFight数据集上达到100%准确率，在RWF-2000数据集上达到90.3%，并设计了紧凑高效的显著性分类器架构，适用于实际智慧城市部署。

ABSTRACT

Detection of violence and weaponized violence in closed-circuit television (CCTV) footage requires a comprehensive approach. In this work, we introduce the \emph{Smart-City CCTV Violence Detection (SCVD)} dataset, specifically designed to facilitate the learning of weapon distribution in surveillance videos. To tackle the complexities of analyzing 3D surveillance video for violence recognition tasks, we propose a novel technique called \emph{SSIVD-Net} ( extbf{S}alient- extbf{S}uper- extbf{I}mage for extbf{V}iolence extbf{D}etection). Our method reduces 3D video data complexity, dimensionality, and information loss while improving inference, performance, and explainability through salient-super-Image representations. Considering the scalability and sustainability requirements of futuristic smart cities, the authors introduce the \emph{Salient-Classifier}, a novel architecture combining a kernelized approach with a residual learning strategy. We evaluate variations of SSIVD-Net and Salient Classifier on our SCVD dataset and benchmark against state-of-the-art (SOTA) models commonly employed in violence detection. Our approach exhibits significant improvements in detecting both weaponized and non-weaponized violence instances. By advancing the SOTA in violence detection, our work offers a practical and scalable solution suitable for real-world applications. The proposed methodology not only addresses the challenges of violence detection in CCTV footage but also contributes to the understanding of weapon distribution in smart surveillance. Ultimately, our research findings should enable smarter and more secure cities, as well as enhance public safety measures.

研究动机与目标

• 解决监控系统中针对武器化暴力检测的专用数据集缺乏问题。
• 在不牺牲性能的前提下，降低3D视频分析用于暴力检测的计算复杂度和维度。
• 提升实时智慧城市监控中对武器化与非武器化暴力检测的准确率与可解释性。
• 开发一种可扩展、低碳排放且高效的深度学习模型，适用于资源受限的城市环境部署。
• 通过捕捉超出预定义类别的多样化武器对象，实现开放世界武器检测。

提出的方法

• 提出一种以数据为中心的方法，通过基于空间与时间显著性的选择与聚合，将3D视频片段转换为2D显著性超图像。
• 引入显著性分类器（Salient-Classifier），一种新型CNN架构，结合核化特征提取与残差学习，以增强特征表示与模型效率。
• 采用基于网格的采样策略（如30fps SCVD视频使用6×5，12fps基准视频使用4×3），从关键帧构建显著性超图像。
• 应用均匀采样以确保帧率在不同帧率的视频中保持一致，从而实现稳定模型训练。
• 在SCVD数据集及基准数据集（MovieFight、HockeyFight、RWF-2000）上训练显著性分类器，训练周期为30–50轮以实现收敛。
• 通过比较不同变体（SaliNet-2m、2b、2n）优化模型容量，确定SaliNet-2m为最优选择，因其在性能与复杂度之间达到最佳平衡。

实验结果

研究问题

• RQ1 基于2D图像的3D视频数据表征是否能在降低计算复杂度的同时，保留关键时空特征用于暴力检测？
• RQ2 与传统超图像方法相比，显著性超图像转换在信息保留与数据维度降低方面表现如何？
• RQ3 显著性分类器在检测武器化与非武器化暴力方面，相较于最先进3D CNN与混合模型（如I3D、Conv-LSTM）的性能优势有多大？
• RQ4 显著性分类器在实际部署中，实现准确率、效率与可扩展性之间平衡的最优模型容量为何？
• RQ5 所提方法在不同光照、遮挡与帧率条件下的多样化数据集上是否具备良好的泛化能力？

主要发现

• 通过消融实验验证，显著性超图像表征相比标准超图像方法显著减少了信息损失。
• 显著性分类器在MovieFight与HockeyFight数据集上达到100%准确率，表明其在多样化视频内容下对打斗场景检测具有强鲁棒性。
• 在更具挑战性的RWF-2000基准上，表现最佳的变体（SaliNet-2n）达到90.3%准确率，优于现有最先进模型。
• SaliNet-2m在性能与复杂度比方面表现最佳，优于更大参数量的变体（SaliNet-2b与SaliNet-2n）。
• 与3D-CNN及混合模型相比，该方法显著降低了计算负载与碳足迹，适用于可持续智慧城市应用。
• 该方法即使在存在遮挡与光照变化的复杂场景中，也能实现有效的武器化暴力检测，凸显其实际可行性。