[论文解读] No Blind Spots: Full-Surround Multi-Object Tracking for Autonomous Vehicles using Cameras & LiDARs

Akshay Rangesh, Mohan M. Trivedi|arXiv (Cornell University)|Feb 23, 2018

Video Surveillance and Tracking Methods参考文献 25被引用 19

一句话总结

本文提出M3OT，一种用于自动驾驶汽车的模块化全向多目标跟踪框架，通过融合摄像头与激光雷达数据，在三维世界空间中实现对车辆的跟踪。通过将基于检测的2D跟踪方法扩展至马尔可夫决策过程与传感器融合，该方法在多摄像头和多传感器模态下实现了鲁棒且长时间的跟踪，其精度与稳定性优于纯视觉方法和基于IPM的方法。

ABSTRACT

Online multi-object tracking (MOT) is extremely important for high-level spatial reasoning and path planning for autonomous and highly-automated vehicles. In this paper, we present a modular framework for tracking multiple objects (vehicles), capable of accepting object proposals from different sensor modalities (vision and range) and a variable number of sensors, to produce continuous object tracks. This work is a generalization of the MDP framework for MOT, with some key extensions - First, we track objects across multiple cameras and across different sensor modalities. This is done by fusing object proposals across sensors accurately and efficiently. Second, the objects of interest (targets) are tracked directly in the real world. This is a departure from traditional techniques where objects are simply tracked in the image plane. Doing so allows the tracks to be readily used by an autonomous agent for navigation and related tasks. To verify the effectiveness of our approach, we test it on real world highway data collected from a heavily sensorized testbed capable of capturing full-surround information. We demonstrate that our framework is well-suited to track objects through entire maneuvers around the ego-vehicle, some of which take more than a few minutes to complete. We also leverage the modularity of our approach by comparing the effects of including/excluding different sensors, changing the total number of sensors, and the quality of object proposals on the final tracking result.

研究动机与目标

• 解决在异构传感器输入下，自动驾驶汽车中长时间、全向多目标跟踪的挑战。
• 通过在三维世界空间中直接跟踪物体，克服传统2D图像平面跟踪的局限性，以提升导航与规划性能。
• 开发一种模块化、可扩展的框架，支持可变数量的摄像头和可选的激光雷达，实现灵活的传感器配置。
• 评估传感器融合方案、投影方法以及检测器质量对真实高速公路环境下跟踪性能的影响。

提出的方法

• 该框架采用基于马尔可夫决策过程（MDPs）的跟踪-检测方法，将物体生命周期建模为一个序列决策过程。
• 通过一个学习到的策略执行数据关联，该策略结合了多种相似性线索，包括外观、运动和几何特征。
• 通过校准的多摄像头系统实现摄像头与激光雷达的早期融合，利用激光雷达点云实现精确的3D定位。
• 评估了两种投影方案：基于激光雷达的3D投影与使用逆透视映射（IPM）的图像平面投影。
• 系统支持动态传感器配置，可灵活包含或排除摄像头与激光雷达，以评估模块化与鲁棒性。
• 引入基于全局位置的特征（φ13, φ14），通过过滤掉距离目标最后已知位置过远的候选框，提升丢失状态下的数据关联性能。

实验结果

研究问题

• RQ1 多视角摄像头与激光雷达的融合在全向自动驾驶场景中如何提升长时间跟踪性能？
• RQ2 不同的2D到3D投影方案（基于激光雷达 vs. IPM）对跟踪精度与稳定性有何影响？
• RQ3 与纯视觉系统相比，多传感器模态提案的融合如何提升跟踪鲁棒性？
• RQ4 该跟踪器在多大程度上对检测器质量与提案可靠性的变化不敏感？
• RQ5 引入基于全局位置的特征如何改善丢失状态下的跟踪表现？

主要发现

• 基于激光雷达的融合方案显著优于基于距离的融合方法，尤其在与IPM投影结合时，可减少轨迹碎片化，并在某些配置下将MOTA提升高达15%。
• 使用激光雷达点云进行3D投影可获得更稳定的轨迹，且MOTP更低（1.25），相比基于IPM的投影（MOTP: 2.10），表明定位精度更高。
• 该跟踪器在不同摄像头数量（2至6个）下均保持高性能，证明其具备强大的模块化特性与对不同传感器配置的适应能力。
• 即使使用未在数据集上训练的次优2D检测器，该跟踪器仍能保持MOTA得分稳定高于75%，表明其对检测错误具有鲁棒性。
• 引入基于全局位置的特征（φ13, φ14）在所有指标上均带来可测量的提升，证实其在目标重新捕获期间过滤错误关联方面的有效性。
• 该系统成功实现了对复杂、持续数分钟的驾驶操作的车辆跟踪，验证了其在长时间、真实世界自动驾驶导航中的能力。