[论文解读] MULTICAST: MULTI Confirmation-level Alarm SysTem based on CNN and LSTM to mitigate false alarms for handgun detection in video-surveillance

Roberto Olmos, Siham Tabik+3 more|arXiv (Cornell University)|Apr 23, 2021

Fire Detection and Safety Systems参考文献 23被引用 4

一句话总结

MULTICAST 是一种三阶段的手枪检测系统，结合基于卷积神经网络（CNN）的空间确认与基于长短期记忆网络（LSTM）的时序追踪，以减少视频监控中的误报。通过利用时空一致性，其相比 Faster R-CNN 将误报率降低了 80%，显著提升了实时安防应用中的可靠性。

ABSTRACT

Despite the constant advances in computer vision, integrating modern single-image detectors in real-time handgun alarm systems in video-surveillance is still debatable. Using such detectors still implies a high number of false alarms and false negatives. In this context, most existent studies select one of the latest single-image detectors and train it on a better dataset or use some pre-processing, post-processing or data-fusion approach to further reduce false alarms. However, none of these works tried to exploit the temporal information present in the videos to mitigate false detections. This paper presents a new system, called MULTI Confirmation-level Alarm SysTem based on Convolutional Neural Networks (CNN) and Long Short Term Memory networks (LSTM) (MULTICAST), that leverages not only the spacial information but also the temporal information existent in the videos for a more reliable handgun detection. MULTICAST consists of three stages, i) a handgun detection stage, ii) a CNN-based spacial confirmation stage and iii) LSTM-based temporal confirmation stage. The temporal confirmation stage uses the positions of the detected handgun in previous instants to predict its trajectory in the next frame. Our experiments show that MULTICAST reduces by 80% the number of false alarms with respect to Faster R-CNN based-single-image detector, which makes it more useful in providing more effective and rapid security responses.

研究动机与目标

• 解决在视频监控中使用单图像检测器进行实时手枪检测时存在的高误报率与高漏报率问题。
• 克服现有方法仅依赖空间特征、未充分利用视频序列中时序一致性的局限性。
• 开发一种多阶段报警系统，通过基于空间与时间证据的确认等级，提升检测的可靠性。
• 构建一个新的数据集 HandgunTrajector，用于训练和评估视频中手枪轨迹预测。
• 通过自动化、置信度分级的检测，减少人工干预，实现更快、更准确的安全响应。

提出的方法

• 使用 Faster R-CNN 作为初始手枪检测阶段，识别每一帧视频中的潜在手枪区域。
• 应用基于 CNN 的空间确认阶段，通过分析局部特征验证检测结果，基于形状、纹理和上下文信息拒绝误报。
• 实施基于 LSTM 的时序确认阶段，对连续帧中检测到的手枪轨迹进行建模，以验证运动的一致性。
• 在每个阶段分配一个确认等级（CL），量化检测置信度，CL 越高表示真实手枪的证据越强。
• 采用级联架构集成三个阶段，仅当检测通过所有确认等级时才触发报警。
• 在新提出的 HandgunTrajector 数据集上训练 LSTM，该数据集包含视频序列中带标注的手枪轨迹。

实验结果

研究问题

• RQ1 使用 LSTM 进行时序建模是否能够将手枪检测的误报率降低至单图像检测器无法达到的水平？
• RQ2 结合空间与时间验证的多阶段确认系统在提升检测可靠性方面的有效性如何？
• RQ3 时空一致性在多大程度上能够纠正由反光物体或间歇性检测引起的误报？
• RQ4 系统是否能通过轨迹预测恢复因遮挡、模糊或光照变化导致的漏报？
• RQ5 与当前最先进的单图像检测器相比，该系统在误报率降低方面是否具有可量化的优越性？

主要发现

• 当作为报警系统使用时，MULTICAST 相比 Faster R-CNN 将误报率降低了 80%，从 80% 降至 20%。
• 系统消除了 60% 的间歇性或上下文误导性误报，例如玻璃上的反光或手机的误检。
• 由反光表面引起的一贯性误报被空间确认阶段有效抑制。
• 时序确认阶段成功恢复了因部分遮挡、光照突变或运动模糊导致的 100% 的漏报。
• 基于 LSTM 的轨迹模型成功预测了手枪在帧间的运动，使初始检测器漏检的检测得以恢复。
• HandgunTrajector 数据集有效支持了时序模型的训练，显著提升了系统在真实视频环境下的鲁棒性。