[论文解读] trajdata: A Unified Interface to Multiple Human Trajectory Datasets

Boris Ivanovic, Guanyu Song+2 more|arXiv (Cornell University)|Jul 26, 2023

Traffic Prediction and Management Techniques被引用 6

一句话总结

本文提出了 trajdata，一个统一的、宽松许可的软件框架，通过将8个不同的人类轨迹数据集（涵盖自动驾驶车辆和行人）转换为一致、高效且可扩展的表格格式，实现了对这些数据的标准化访问，提供统一的API。其核心贡献在于实现了无缝的多数据集基准测试，揭示了标注质量、自动标注性能以及数据偏差的关键洞察，最终为未来数据集设计提供指导。

ABSTRACT

The field of trajectory forecasting has grown significantly in recent years, partially owing to the release of numerous large-scale, real-world human trajectory datasets for autonomous vehicles (AVs) and pedestrian motion tracking. While such datasets have been a boon for the community, they each use custom and unique data formats and APIs, making it cumbersome for researchers to train and evaluate methods across multiple datasets. To remedy this, we present trajdata: a unified interface to multiple human trajectory datasets. At its core, trajdata provides a simple, uniform, and efficient representation and API for trajectory and map data. As a demonstration of its capabilities, in this work we conduct a comprehensive empirical evaluation of existing trajectory datasets, providing users with a rich understanding of the data underpinning much of current pedestrian and AV motion forecasting research, and proposing suggestions for future datasets from these insights. trajdata is permissively licensed (Apache 2.0) and can be accessed online at https://github.com/NVlabs/trajdata

研究动机与目标

• 解决自动驾驶和行人运动预测研究中，主要人类轨迹数据集在数据格式和API方面日益碎片化的问题。
• 通过提供单一、一致且可扩展的数据接口，降低集成多个数据集的工程负担。
• 实现对轨迹数据质量、标注一致性以及模型泛化潜力的全面、跨数据集实证评估。
• 识别当前数据集中系统性偏差和局限性（如标注范围受限、地图覆盖问题等），并为未来数据采集提供可操作的改进建议。

提出的方法

• trajdata 通过提取核心代理动态（位置、速度、加速度、航向、尺寸）并使用SI单位，利用有限差分和线性插值方法，对缺失或不一致的数据进行推导，从而实现轨迹和地图数据的标准化。
• 该框架将异构原生格式（如TFRecords、Zarr、JSON）转换为统一的表格数据结构，支持高效索引、过滤和分组操作。
• 支持多种数据集，包括Waymo、nuScenes、Lyft Level 5、INTERACTION和SDD，全面支持地图数据和代理级元数据。
• 系统原生集成PyTorch等深度学习框架，可直接用于训练和评估流水线。
• 包含自动化数据质量检查，如碰撞检测和地图对齐验证，用于标记标注中的不一致问题。
• 该框架具有可扩展性，支持未来集成新数据集和模态，包括传感器数据和几何地图元素。

实验结果

研究问题

• RQ1 不同轨迹数据集的标注质量和自一致性如何比较，尤其是在无人机与基于地面的自动驾驶车辆等不同数据采集方法之间？
• RQ2 现代自动标注流水线在多大程度上接近人工标注数据的准确性？在哪些方面仍存在不足？
• RQ3 当前大规模轨迹数据集中存在哪些关键偏差和局限性，例如标注范围受限或地图覆盖不足？
• RQ4 不同数据集在检测罕见或复杂行为（如剧烈加速或代理碰撞）方面的表现如何？
• RQ5 未来数据集发布应遵循哪些设计原则，以提升运动预测研究中的泛化能力、多样性与鲁棒性？

主要发现

• 基于无人机的数据采集（如INTERACTION数据集）即使在使用LiDDR的情况下，其边界框标注精度也显著高于基于地面的自动驾驶感知系统，原因在于视角更优且遮挡更少。
• 现代自动标注流水线在碰撞检测率方面已接近人工标注水平，但在复杂、近距离行人交互场景中性能仍落后。
• Waymo、Lyft和nuScenes等数据集表现出最高的剧烈加速事件发生率（超过1%的车辆），与它们的长尾加速度分布一致。
• nuScenes在主干道路以外区域的地图覆盖较差，而Lyft在道路附近存在较高的误报检测率，尤其针对'Unknown'类别。
• 尽管规模有限，SDD等小规模行人数据集在高密度、社交互动性强的场景中仍具有重要价值。
• 当前数据集普遍存在对直线行驶行为的强烈偏向，且多数数据集未能充分代表不同社会经济或交通可达性特征的地理区域。