[论文解读] Object Detection by Spatio-Temporal Analysis and Tracking of the Detected Objects in a Video with Variable Background

Kumar S. Ray, Vijayan K. Asari+1 more|arXiv (Cornell University)|Apr 28, 2017

Video Surveillance and Tracking Methods参考文献 1被引用 6

一句话总结

该论文提出了一种新颖的视频目标检测与跟踪方法，适用于背景多变的视频，通过3D Gabor滤波器组进行时空分析以提取运动斑块，再利用最小生成树（Minimum Spanning Tree）将斑块合并为完整目标。该方法采用基于特征的线性分配问题（Linear Assignment Problem）与卡尔曼滤波（Kalman filtering）实现目标跟踪，可有效处理遮挡问题，且无需初始化或训练数据，实现了当前最优的性能表现。

ABSTRACT

In this paper we propose a novel approach for detecting and tracking objects in videos with variable background i.e. videos captured by moving cameras without any additional sensor. In a video captured by a moving camera, both the background and foreground are changing in each frame of the image sequence. So for these videos, modeling a single background with traditional background modeling methods is infeasible and thus the detection of actual moving object in a variable background is a challenging task. To detect actual moving object in this work, spatio-temporal blobs have been generated in each frame by spatio-temporal analysis of the image sequence using a three-dimensional Gabor filter. Then individual blobs, which are parts of one object are merged using Minimum Spanning Tree to form the moving object in the variable background. The height, width and four-bin gray-value histogram of the object are calculated as its features and an object is tracked in each frame using these features to generate the trajectories of the object through the video sequence. In this work, problem of data association during tracking is solved by Linear Assignment Problem and occlusion is handled by the application of kalman filter. The major advantage of our method over most of the existing tracking algorithms is that, the proposed method does not require initialization in the first frame or training on sample data to perform. Performance of the algorithm has been tested on benchmark videos and very satisfactory result has been achieved. The performance of the algorithm is also comparable and superior with respect to some benchmark algorithms.

研究动机与目标

• 解决在移动摄像头拍摄、背景多变的视频中检测与跟踪运动目标的挑战。
• 消除在目标检测与跟踪中对先验场景知识、背景建模或训练数据的需求。
• 开发一种鲁棒的方法，通过时空分析与基于特征的跟踪，有效应对遮挡与背景变化。
• 在光照变化与目标接近等动态条件下，实现高精度与高稳定性的目标跟踪。
• 提供一种完全自动化的系统，无需在首帧进行空间或时间初始化。

提出的方法

• 应用3D Gabor滤波器组分析连续视频帧的时空块，以检测高运动能量区域。
• 对3D Gabor输出采用选择性平均方法，生成时空斑块，抑制噪声与非信息性像素。
• 基于空间与特征相似性，利用克鲁斯卡尔最小生成树（Kruskal’s Minimum Spanning Tree, KMST）将同一目标的断开斑块部分合并。
• 使用高度、宽度及四分bin灰度值直方图作为判别性特征，表示每个检测到的目标。
• 通过求解线性分配问题（Linear Assignment Problem, LAP）在连续帧之间关联特征，实现目标跟踪。
• 采用卡尔曼滤波预测目标状态，并处理短期遮挡，提升跟踪鲁棒性。

实验结果

研究问题

• RQ1 基于3D Gabor滤波的时空分析是否能有效检测背景多变视频中的运动目标，而无需背景建模？
• RQ2 最小生成树方法在动态场景中将碎片化运动斑块合并为连贯目标方面的有效性如何？
• RQ3 在基准数据集上，该方法在精度与成功率方面相较于最先进跟踪算法的性能提升程度如何？
• RQ4 该系统在复杂视频序列中处理遮挡与无初始化跟踪的能力如何？
• RQ5 该方法是否能在无需训练或初始化的情况下，保持在光照变化与目标接近等多样化视频条件下的高性能？

主要发现

• 在TB50与TB100基准数据集上，使用标准重叠阈值（t₀ = 0.5）时，该方法实现了87.71%的平均成功率与80.73%的平均精度率。
• 在空间鲁棒性评估（SRE）中，该算法表现出色，因其不依赖空间初始化，而诸如STC等方法则依赖。
• 在时间鲁棒性评估（TRE）中，该方法保持了强劲性能，因其依赖短期时间信息，而非长期学习。
• 该方法可从序列中的任意帧（除前六帧外）成功检测与跟踪目标，表明其对时间初始化具有强鲁棒性。
• 在尺度变化、运动模糊、光照变化与遮挡四项属性的评估中，该算法在曲线下面积（AUC）与中心位置误差（CLE）指标上优于或匹配最先进方法[5, 16, 23]。
• 系统可自动检测整个视频时长内显著的运动目标，且短期遮挡不会破坏斑块生成或跟踪连续性。