[论文解读] Optical Flow Based Real-time Moving Object Detection in Unconstrained Scenes

Junjie Huang, Wei Zou+2 more|arXiv (Cornell University)|Jul 13, 2018

Video Surveillance and Tracking Methods参考文献 16被引用 25

一句话总结

本文提出了一种基于光流的实时运动目标检测框架，适用于非约束场景，利用从光流中在线估计的单应矩阵来建模动态背景，并采用双模式判断机制以增强鲁棒性。该方法在十个多样化的视频序列上实现了0.747的平均F-measure，达到当前最先进水平，且每帧处理时间约为139ms，保持实时效率。

ABSTRACT

Real-time moving object detection in unconstrained scenes is a difficult task due to dynamic background, changing foreground appearance and limited computational resource. In this paper, an optical flow based moving object detection framework is proposed to address this problem. We utilize homography matrixes to online construct a background model in the form of optical flow. When judging out moving foregrounds from scenes, a dual-mode judge mechanism is designed to heighten the system's adaptation to challenging situations. In experiment part, two evaluation metrics are redefined for more properly reflecting the performance of methods. We quantitatively and qualitatively validate the effectiveness and feasibility of our method with videos in various scene conditions. The experimental results show that our method adapts itself to different situations and outperforms the state-of-the-art methods, indicating the advantages of optical flow based methods.

研究动机与目标

• 解决在具有动态背景和有限计算资源的非约束场景中实现实时运动目标检测的挑战。
• 克服现有方法依赖批处理、全局优化或静止场景假设的局限性。
• 通过利用光流和单应矩阵，提出一种在线、高效且精确的背景建模方法。
• 通过双模式判断机制提升系统在传感器变焦和慢速运动前景等复杂场景下的适应能力。
• 重新定义评估指标，以更准确反映在帧间前景大小不平衡的视频中模型的性能表现。

提出的方法

• 使用FlowNet2.0估计光流，以获得图像中密集的运动向量。
• 直接从光流场中提取点对，以计算单应矩阵，避免依赖KLT或LK等追踪算法。
• 利用估计的单应矩阵构建光流形式的背景模型，实现实时在线背景建模。
• 通过计算观测光流与背景模型预测光流之间的像素级差异来检测运动目标。
• 应用双模式判断机制，自适应处理如传感器变焦等复杂情况，提升检测精度。
• 重新定义帧级精确率、召回率与F-measure，并通过对所有帧取平均计算视频级性能，以确保评估的平衡性。

实验结果

研究问题

• RQ1 基于光流的方法是否能在具有动态背景的非约束场景中实现实时运动目标检测？
• RQ2 所提出的基于单应矩阵的在线背景建模方法与现有批处理或静态背景模型相比表现如何？
• RQ3 双模式判断机制在涉及传感器变焦或复杂运动的场景中，能在多大程度上提升系统的鲁棒性？
• RQ4 重新定义的评估指标在前景大小随帧变化的视频中，能否更准确地反映方法性能？
• RQ5 所提出框架的计算效率如何？其在RANSAC迭代次数等算法参数变化下的可扩展性如何？

主要发现

• 所提方法在十个多样化的视频序列上实现了0.747的平均像素级F-measure，优于包括MCD5.8ms、SA和SCBU在内的当前最先进方法。
• 在PG1序列中，尽管前景微小且移动缓慢，该方法仍保持0.550的合理F-measure，展现出对低对比度和微弱运动的鲁棒性。
• 在F-measure阈值为0.5时，该方法的成功率达到0.92，表明其在实际部署中具有强可靠性。
• 光流估计占总处理时间139ms中的123ms，而前景检测仅耗时16ms，表明性能瓶颈在于光流估计速度。
• RANSAC迭代次数约为40时，成功率超过0.92，进一步增加迭代带来的性能增益极小，表明该值为准确率与速度之间的最优权衡点。
• 重新定义的评估指标有效凸显了性能差异，尤其在前景大小不平衡的视频中，使结果更具代表性与可靠性。