[论文解读] TYolov5: A Temporal Yolov5 Detector Based on Quasi-Recurrent Neural Networks for Real-Time Handgun Detection in Video

Mario Alberto Duran-Vega, Miguel González-Mendoza+2 more|arXiv (Cornell University)|Nov 16, 2021

Anomaly Detection Techniques and Applications被引用 5

一句话总结

本文提出TYolov5，一种实时时空手枪检测系统，通过引入准循环神经网络（QRNNs）增强YOLOv5，以利用视频中的时空特征。通过将QRNNs集成到多尺度特征图中，并应用时间数据增强（Mosaic和Mixup），TYolov5在保持小、中、大模型实时性能的同时，实现了更快的推理速度和更高的mAP 50:95（最高达60.2），优于YOLOv5和基于ConvLSTM的模型。

ABSTRACT

Timely handgun detection is a crucial problem to improve public safety; nevertheless, the effectiveness of many surveillance systems still depends of finite human attention. Much of the previous research on handgun detection is based on static image detectors, leaving aside valuable temporal information that could be used to improve object detection in videos. To improve the performance of surveillance systems, a real-time temporal handgun detection system should be built. Using Temporal Yolov5, an architecture based on Quasi-Recurrent Neural Networks, temporal information is extracted from video to improve the results of handgun detection. Moreover, two publicly available datasets are proposed, labeled with hands, guns, and phones. One containing 2199 static images to train static detectors, and another with 5960 frames of videos to train temporal modules. Additionally, we explore two temporal data augmentation techniques based on Mosaic and Mixup. The resulting systems are three temporal architectures: one focused in reducing inference with a mAP$_{50:95}$ of 55.9, another in having a good balance between inference and accuracy with a mAP$_{50:95}$ of 59, and a last one specialized in accuracy with a mAP$_{50:95}$ of 60.2. Temporal Yolov5 achieves real-time detection in the small and medium architectures. Moreover, it takes advantage of temporal features contained in videos to perform better than Yolov5 in our temporal dataset, making TYolov5 suitable for real-world applications. The source code is publicly available at https://github.com/MarioDuran/TYolov5.

研究动机与目标

• 解决基于静态图像的手枪检测器忽略视频监控中时间上下文的局限性。
• 开发一种利用序列视频信息提升准确率的实时时空目标检测系统。
• 评估准循环神经网络（QRNNs）在时空目标检测中相对于ConvLSTMs的有效性。
• 引入两个公开可用的数据集——HGP（2199张静态图像）和THGP（5960帧视频），标注了手、枪支和手机。
• 探索并验证时间数据增强技术（时间Mosaic和Mixup）对提升时空模型性能的作用。

提出的方法

• 将QRNN模块集成到YOLOv5的多尺度特征图中，以提取并跨帧传播时间特征。
• 采用带有卷积层的准循环池化机制，实现并行处理，相比标准RNN具有更快的训练和推理速度。
• 通过将Mosaic和Mixup技术扩展到视频序列，应用时间数据增强，提升泛化能力而不增加模型复杂度。
• 使用混合数据集HGP和THGP，在200个周期内以混合精度和全精度推理训练并评估三种架构（小、中、大）。
• 在mAP 50:95、推理速度（FPS）和参数效率方面，对比基于QRNN的模型与YOLOv5及基于ConvLSTM的变体。
• 采用三阶段训练流程：在静态图像（HGP）上预训练，于视频帧（THGP）上微调，最后结合时间增强进行端到端训练。

实验结果

研究问题

• RQ1 QRNNs能否有效提取视频中的时空特征，实现实时手枪检测，且性能优于或匹配基于ConvLSTM的模型？
• RQ2 时间数据增强（时间Mosaic和Mixup）在不增加模型复杂度的前提下，能在多大程度上提升时空目标检测器的准确率？
• RQ3 在基于视频的手枪检测基准上，基于QRNN的架构与基于ConvLSTM的架构及标准YOLOv5相比，在推理速度和mAP 50:95方面表现如何？
• RQ4 与基于RNN的替代方案相比，QRNNs能否在保持高准确率的同时显著降低推理时间，适用于实时视频检测？
• RQ5 所提出的公开数据集HGP和THGP相比现有仅基于静态图像的手枪检测基准，能在多大程度上提升模型的泛化能力？

主要发现

• TYolov5结合QRNNs在大模型上实现了60.2的mAP 50:95，优于YOLOv5l（59.3），并匹配最佳基于ConvLSTM的模型（60.0），同时具备更快的推理速度。
• TYolov5的小模型实现55.9 mAP 50:95和52.6 FPS，保持实时性能，并超过YOLOv5s（54.8 mAP 50:95）。
• TYolov5的中模型实现59.0 mAP 50:95（使用QRNNs）和31.0 FPS，优于YOLOv5m（58.2 mAP 50:95），且比基于ConvLSTM的模型快1.5倍。
• 时间数据增强（Mosaic和Mixup）使模型准确率提升2.1 mAP 50:95点，证明其在提升时空泛化能力方面的有效性。
• QRNNs相比标准RNN将推理时间减少最多达16倍，在速度上优于ConvLSTMs，同时保持相近的准确率，尤其在全精度浮点设置下表现更优。
• 所提出的数据集HGP（2199张图像）和THGP（5960帧视频）提供了真实、富含上下文的训练数据，包含手、枪支和手机的边界框，增强了模型的鲁棒性。