[论文解读] Real-Time Salient Closed Boundary Tracking via Line Segments Perceptual Grouping

Xuebin Qin, Shida He+4 more|arXiv (Cornell University)|Apr 30, 2017

Advanced Vision and Imaging参考文献 12被引用 4

一句话总结

本文提出了一种基于线段感知分组的实时方法，用于在视频中跟踪显著的闭合边界。通过结合分组代价与面积相似性约束，并在Delaunay三角剖分图上应用一种新型双向最短路径（BDSP）算法，该方法在纹理缺失、非平面轮廓等挑战性条件下仍能实现鲁棒的实时跟踪，已在机器人倒液实验和一个包含9598帧的新数据集上得到验证。

ABSTRACT

This paper presents a novel real-time method for tracking salient closed boundaries from video image sequences. This method operates on a set of straight line segments that are produced by line detection. The tracking scheme is coherently integrated into a perceptual grouping framework in which the visual tracking problem is tackled by identifying a subset of these line segments and connecting them sequentially to form a closed boundary with the largest saliency and a certain similarity to the previous one. Specifically, we define a new tracking criterion which combines a grouping cost and an area similarity constraint. The proposed criterion makes the resulting boundary tracking more robust to local minima. To achieve real-time tracking performance, we use Delaunay Triangulation to build a graph model with the detected line segments and then reduce the tracking problem to finding the optimal cycle in this graph. This is solved by our newly proposed closed boundary candidates searching algorithm called "Bidirectional Shortest Path (BDSP)". The efficiency and robustness of the proposed method are tested on real video sequences as well as during a robot arm pouring experiment.

研究动机与目标

• 解决在非结构化、真实场景中跟踪显著闭合边界的问题，传统跟踪器因缺乏纹理区域、非刚性形变或光照变化而失效。
• 开发一种实时、鲁棒的跟踪方法，对局部极小值不敏感，且不依赖稳定纹理或三维模型。
• 在机器人视觉应用中实现可靠的边界跟踪，例如跟踪移动碗并实现精确倒液，其中准确的三维中心估计依赖于稳定的轮廓跟踪。
• 创建一个包含9,598帧的新基准视频数据集，涵盖多样化、具有挑战性的边界跟踪场景，用于评估。

提出的方法

• 使用线段检测算法在每一帧视频中检测线段，并通过线段端点的Delaunay三角剖分构建图结构。
• 提出一种新型双向最短路径（BDSP）算法，以高效搜索图中最优的闭合边界环路，最小化计算成本。
• 跟踪准则结合了用于边界连续性的感知分组代价与一个正则化项，通过强制连续帧间面积相似性来提高鲁棒性。
• 图模型逐步构建，BDSP算法将边界搜索问题转化为变换图结构中的最短路径问题。
• 通过Kinect传感器将2D跟踪的边界点映射到3D坐标，实现机器人手臂控制的3D质心估计。
• 系统使用C++、OpenCV和Boost实现，在标准硬件上实现了实时性能。

实验结果

研究问题

• RQ1 线段的感知分组能否在无纹理、非平面及杂乱场景中实现显著闭合边界的鲁棒实时跟踪？
• RQ2 如何结合分组代价与面积相似性约束，以提升对局部极小值和外观变化的鲁棒性？
• RQ3 基于图的优化结合新型BDSP算法，能否在不依赖GPU或复杂模型的前提下实现实时闭合边界跟踪？
• RQ4 该方法在真实机器人应用中（如跟踪移动碗以实现精确倒液）的效果如何？
• RQ5 与RKLT、ESM、HoughTrack和RRC等最先进跟踪器相比，该方法在具有挑战性的现实世界视频序列中是否表现更优？

主要发现

• 在基准数据集上，该方法平均帧率达到54.12 fps，多数序列每帧处理时间低于10 ms，证实了其实时性能。
• 在九个视频序列中，该方法在跟踪成功率方面优于RKLT、ESM、HoughTrack和RRC，尤其在无纹理和非平面情况下表现更优。
• 在机器人手臂倒液实验中，该跟踪器通过跟踪碗的2D边缘并映射到3D质心，成功实现了精确的谷物倒液。
• BDSP算法将“马克杯”序列的平均分组时间降低至5.07 ms，将“书架”序列降低至3.79 ms，在所有测试序列中均表现出高效率。
• 该方法在处理非朗伯表面、非刚性形变和视角变化方面表现出鲁棒性，而传统跟踪器则失效。
• 新创建的包含9,598帧、涵盖多样化边界类型的视频数据集，为未来边界跟踪方法的评估提供了宝贵基准。