[论文解读] TrackletMapper: Ground Surface Segmentation and Mapping from Traffic Participant Trajectories

Jannik Zürn, S. M. Weber+1 more|arXiv (Cornell University)|Sep 12, 2022

Video Surveillance and Tracking Methods被引用 4

一句话总结

TrackletMapper 提出了一种自监督框架，用于使用行人和车辆的轨迹对地面表面（如人行道、道路和路口）进行语义分割，而无需人工标注数据。通过将这些轨迹投影到自车视角图像中，并利用聚合的表面图进行自蒸馏，该方法在以行人为主的都市环境中显著提升了分割精度，有效缓解了因车辆视角数据集带来的领域偏移问题。

ABSTRACT

Robustly classifying ground infrastructure such as roads and street crossings is an essential task for mobile robots operating alongside pedestrians. While many semantic segmentation datasets are available for autonomous vehicles, models trained on such datasets exhibit a large domain gap when deployed on robots operating in pedestrian spaces. Manually annotating images recorded from pedestrian viewpoints is both expensive and time-consuming. To overcome this challenge, we propose TrackletMapper, a framework for annotating ground surface types such as sidewalks, roads, and street crossings from object tracklets without requiring human-annotated data. To this end, we project the robot ego-trajectory and the paths of other traffic participants into the ego-view camera images, creating sparse semantic annotations for multiple types of ground surfaces from which a ground segmentation model can be trained. We further show that the model can be self-distilled for additional performance benefits by aggregating a ground surface map and projecting it into the camera images, creating a denser set of training annotations compared to the sparse tracklet annotations. We qualitatively and quantitatively attest our findings on a novel large-scale dataset for mobile robots operating in pedestrian areas. Code and dataset will be made available at http://trackletmapper.cs.uni-freiburg.de.

研究动机与目标

• 解决在行人环境部署时，基于车辆视角数据集训练的语义分割模型存在的领域差距问题。
• 通过利用可观察的交通参与者轨迹，消除对行人视角图像进行昂贵人工标注的需求。
• 从机器人采集的数据中，开发一种可扩展的、自动化的多类别地面表面分割（道路、人行道、路口）标注流水线。
• 通过使用聚合的语义表面图进行自蒸馏，提升模型的泛化能力和性能。

提出的方法

• 将机器人自车轨迹和跟踪到的物体轨迹（行人、车辆）投影到自车视角相机图像中，生成稀疏的、多类别的像素级标注。
• 利用物体类型（如行人与车辆）推断地面表面标签：行人表示人行道或行人区域，车辆表示道路或路口。
• 通过在帧间空间聚合模型预测结果，构建密集的语义表面图，以提升标注的一致性和覆盖范围。
• 通过将聚合后的表面图重新投影回相机图像空间，生成合成的密集训练标签，实现知识蒸馏。
• 使用稀疏的轨迹标注和蒸馏生成的密集标注，端到端训练语义分割模型，以提升性能。
• 利用一种新型的大规模数据集——弗莱堡行人场景数据集（Freiburg Pedestrian Scenes），该数据集由移动机器人在城市行人区域中采集。

实验结果

研究问题

• RQ1 是否可以可靠地利用交通参与者轨迹，在无人工标注数据的情况下生成地面表面的语义标注？
• RQ2 与仅使用自车轨迹的监督方式相比，基于轨迹的标注在多个地面表面类别上的分割精度如何？
• RQ3 通过聚合表面图进行自蒸馏，与标准监督相比，能在多大程度上提升模型性能？
• RQ4 该标注流水线对现实世界中的变化（如不一致的交通行为或传感器噪声）有多大的鲁棒性？
• RQ5 所提出的方法能否泛化到具有视觉相似地面表面（如人行道和路口）的复杂城市环境？

主要发现

• 基于轨迹的标注方法在除障碍物外的所有类别上均优于仅使用自车轨迹的监督方式，证明了利用多样化交通参与者行为的价值。
• 通过聚合表面图进行自蒸馏显著提升了 IoU 分数，归因于标注密度和一致性的提升。
• 在 TrackletMapper 标注数据上训练的模型泛化能力优于在 Vistas 数据集上训练的模型，有效减少了车辆视角数据集中常见的视角偏差。
• 定性结果表明，分割掩码与真实标签对齐良好，但在区分路口与相邻道路和人行道区域方面仍存在挑战。
• 局限性包括重叠区域（尤其是路口）的类别混淆，以及对定位不准确、标定误差或违规交通行为（如随意穿行）的敏感性。