[论文解读] Pan-tilt-zoom SLAM for Sports Videos

Jikai Lu, Jianhui Chen+1 more|arXiv (Cornell University)|Jul 20, 2019

Robotics and Sensor-Based Localization参考文献 43被引用 7

一句话总结

本文提出了一种新型的全景-俯仰-变焦（PTZ）SLAM系统，用于高速运动的体育摄像机，采用基于射线的特征点表示方法，并结合在线全景-俯仰随机森林以实现鲁棒的定位映射。通过将两点法扩展至序列数据，并结合球员检测以抑制前景异常值，该系统在动态体育视频中实现了优于基于单应性的基线方法的相机位姿估计精度和跟踪稳定性。

ABSTRACT

We present an online SLAM system specifically designed to track pan-tilt-zoom (PTZ) cameras in highly dynamic sports such as basketball and soccer games. In these games, PTZ cameras rotate very fast and players cover large image areas. To overcome these challenges, we propose to use a novel camera model for tracking and to use rays as landmarks in mapping. Rays overcome the missing depth in pure-rotation cameras. We also develop an online pan-tilt forest for mapping and introduce moving objects (players) detection to mitigate negative impacts from foreground objects. We test our method on both synthetic and real datasets. The experimental results show the superior performance of our method over previous methods for online PTZ camera pose estimation.

研究动机与目标

• 解决在快速运动和遮挡导致传统SLAM性能下降的动态体育环境中，对高速全景-俯仰-变焦（PTZ）摄像机进行跟踪的挑战。
• 通过引入射线作为特征点而非三维点，克服纯旋转摄像机中的深度模糊问题。
• 通过集成实时球员检测以过滤运动身体上的关键点，提升对移动前景物体（如球员）的鲁棒性。
• 通过扩展两点法结合EKF滤波与在线全景-俯仰随机森林实现重定位，支持在线、实时的相机位姿估计。
• 在合成数据集和真实体育视频数据集上，证明该方法优于基于单应性的方法和EKF-H方法。

提出的方法

• 系统采用一种新型摄像机模型，通过全景、俯仰和焦距参数化，减少自由度，从而在存在异常值的情况下实现更鲁棒的估计。
• 通过扩展卡尔曼滤波（EKF）将两点法从单帧扩展至多帧估计，实现实时相机位姿跟踪。
• 在地图中使用射线作为特征点来表示三维结构，克服仅旋转摄像机运动固有的深度模糊问题。
• 从关键帧中增量式构建在线全景-俯仰随机森林（RF），以在跟踪丢失时支持重定位。
• 通过预训练的目标检测器（如Faster R-CNN）进行球员检测，识别移动物体，且在特征匹配过程中丢弃球员区域上的关键点。
• 重定位采用最近邻搜索结合RANSAC优化，但系统更倾向于使用随机森林而非KD树，因为在纹理背景上表现更具区分性。

实验结果

研究问题

• RQ1 PTZ SLAM系统是否能在高动态内容的高速运动体育视频中实现稳定且准确的相机位姿估计？
• RQ2 与传统的三维点或基于单应性的表示相比，使用射线作为特征点是否能提升深度估计和跟踪鲁棒性？
• RQ3 集成球员检测是否能显著降低移动前景物体对特征跟踪和位姿估计的影响？
• RQ4 在具有挑战性的体育场景中，所提出的在线全景-俯仰随机森林与KD树最近邻搜索等替代重定位方法相比表现如何？
• RQ5 在快速摄像机运动下，所扩展的两点法是否在精度和漂移方面优于基于单应性的方法？

主要发现

• 所提出的PTZ SLAM系统在篮球和足球视频的长序列中成功实现了相机跟踪，即使在导致基线方法跟踪丢失的快速全景运动中也保持稳定。
• 在篮球数据集中，EKF-H在快速摄像机运动期间丢失了跟踪（图6中第一个绿色半透明区域），而所提方法保持了连续且准确的跟踪，误差显著更低。
• 在整个序列中，所提方法的全景角度估计误差低于EKF-H，即使在快速摄像机切换后也未出现显著漂移。
• 球员检测有效减少了由移动球员引起的错误特征匹配数量，提升了跟踪稳定性并降低了位姿误差。
• 在线全景-俯仰随机森林在重定位中优于基于KD树的最近邻搜索，尤其在具有重复图案的背景上表现更优。
• 系统在具有密集测试的合成数据集上表现出鲁棒性，弥补了缺乏大规模公开真实体育数据集的不足。