[论文解读] ReMotENet: Efficient Relevant Motion Event Detection for Large-scale Home Surveillance Videos

Ruichi Yu, Hongcheng Wang+1 more|arXiv (Cornell University)|Jan 6, 2018

Video Surveillance and Tracking Methods参考文献 3被引用 3

一句话总结

ReMotENet 提出了一种统一的、端到端的3D卷积神经网络，结合空间-时间注意力机制与帧差分技术，用于在家庭监控视频中检测相关运动事件（如人员、车辆）。该方法通过单次前向传播处理完整的15秒视频片段，在保持或提升准确率的同时，相比传统两阶段方法实现了高达20,000倍的加速，GPU上推理时间仅为4–8ms，CPU上低于0.4秒，且模型大小不足1MB。

ABSTRACT

This paper addresses the problem of detecting relevant motion caused by objects of interest (e.g., person and vehicles) in large scale home surveillance videos. The traditional method usually consists of two separate steps, i.e., detecting moving objects with background subtraction running on the camera, and filtering out nuisance motion events (e.g., trees, cloud, shadow, rain/snow, flag) with deep learning based object detection and tracking running on cloud. The method is extremely slow and therefore not cost effective, and does not fully leverage the spatial-temporal redundancies with a pre-trained off-the-shelf object detector. To dramatically speedup relevant motion event detection and improve its performance, we propose a novel network for relevant motion event detection, ReMotENet, which is a unified, end-to-end data-driven method using spatial-temporal attention-based 3D ConvNets to jointly model the appearance and motion of objects-of-interest in a video. ReMotENet parses an entire video clip in one forward pass of a neural network to achieve significant speedup. Meanwhile, it exploits the properties of home surveillance videos, e.g., relevant motion is sparse both spatially and temporally, and enhances 3D ConvNets with a spatial-temporal attention model and reference-frame subtraction to encourage the network to focus on the relevant moving objects. Experiments demonstrate that our method can achieve comparable or event better performance than the object detection based method but with three to four orders of magnitude speedup (up to 20k times) on GPU devices. Our network is efficient, compact and light-weight. It can detect relevant motion on a 15s surveillance video clip within 4-8 milliseconds on a GPU and a fraction of second (0.17-0.39) on a CPU with a model size of less than 1MB.

研究动机与目标

• 解决传统两阶段运动检测流水线在大规模家庭监控系统中效率低下和延迟高的问题。
• 通过用统一的轻量化神经网络替代顺序的背景减除与基于云的对象检测，降低计算成本并提升可扩展性。
• 通过联合建模感兴趣目标的外观与运动模式，利用监控视频中的时空冗余性。
• 实现实时、边缘兼容的检测，模型大小极小（<1MB），并在CPU和GPU上均实现低推理延迟。
• 开发一种弱监督训练策略，利用对象检测生成的伪真实标签，避免昂贵的人工标注。

提出的方法

• ReMotENet 使用带有空间-时间注意力（STA）机制的3D卷积神经网络，联合建模视频片段中的外观与运动信息，聚焦于相关运动目标。
• 通过局部参考帧（RefL）进行帧差分，抑制静态背景并突出运动前景，降低输入复杂度。
• 网络在单次前向传播中处理完整的15秒视频片段，消除了传统方法中逐帧处理的性能瓶颈。
• 设计了一套伪真实标签生成流程，利用以10 FPS运行的Faster R-CNN（置信度阈值>0.8）生成二值掩码，用于注意力层的训练。
• 空间注意力机制采用5×3网格池化，将伪标签与特征图对齐，从而实现对注意力模块的弱监督训练。
• 模型通过检测结果的弱监督进行端到端训练，避免了完整标注的高昂成本。

实验结果

研究问题

• RQ1 统一的、端到端的深度学习模型是否能在家庭监控场景中，于速度与准确率方面超越传统两阶段运动检测流水线？
• RQ2 与全局参考帧或原始帧相比，使用局部参考帧（RefL）的帧差分在提升运动检测性能方面效果如何？
• RQ3 空间-时间注意力在增强对相关运动目标的关注同时，能否有效降低计算负载？
• RQ4 利用对象检测生成的伪真实标签进行弱监督训练，能否达到与全监督方法相当的性能？
• RQ5 适用于边缘设备实时部署的紧凑高效网络，其推理延迟与模型大小分别是多少？

主要发现

• ReMotENet 在人物运动检测上达到82.3%的mAP，在车辆运动检测上达到73.0%的mAP（使用RefL-C3D输入），性能与两阶段目标检测基线相当或更优。
• 模型将推理时间缩短至GPU上4–8ms，CPU上0.17–0.39秒（15秒片段），相比传统方法提速达3–4个数量级（最高达20,000倍）。
• 采用局部参考帧差分（RefL）相比全局参考帧提升mAP 4.5%，相比原始帧提升5.5%，证明其在背景抑制方面的有效性。
• 网络仅需数百次训练迭代即可实现良好收敛，展现出稳定且高效的训练动态。
• 最终模型极为紧凑，大小不足1MB，适合在资源受限的边缘设备上部署。
• 来自对象检测的伪真实标签显著提升了注意力层性能，验证了弱监督训练方法的有效性。