[论文解读] Open-sourced Data Ecosystem in Autonomous Driving: the Present and Future

Hongyang Li, Yang Li+17 more|arXiv (Cornell University)|Dec 6, 2023

Advanced Neural Network Applications被引用 5

一句话总结

本文全面综述了开源自动驾驶数据集，根据传感器复杂度、数据规模和任务范围，将其分为两代。论文提出了第三代数据集的愿景，利用基础模型、模块化设计和可扩展数据引擎，以应对长尾场景并提升模型泛化能力，主要贡献在于数据生态系统分析及自动驾驶系统未来研究方向。

ABSTRACT

With the continuous maturation and application of autonomous driving technology, a systematic examination of open-source autonomous driving datasets becomes instrumental in fostering the robust evolution of the industry ecosystem. Current autonomous driving datasets can broadly be categorized into two generations. The first-generation autonomous driving datasets are characterized by relatively simpler sensor modalities, smaller data scale, and is limited to perception-level tasks. KITTI, introduced in 2012, serves as a prominent representative of this initial wave. In contrast, the second-generation datasets exhibit heightened complexity in sensor modalities, greater data scale and diversity, and an expansion of tasks from perception to encompass prediction and control. Leading examples of the second generation include nuScenes and Waymo, introduced around 2019. This comprehensive review, conducted in collaboration with esteemed colleagues from both academia and industry, systematically assesses over seventy open-source autonomous driving datasets from domestic and international sources. It offers insights into various aspects, such as the principles underlying the creation of high-quality datasets, the pivotal role of data engine systems, and the utilization of generative foundation models to facilitate scalable data generation. Furthermore, this review undertakes an exhaustive analysis and discourse regarding the characteristics and data scales that future third-generation autonomous driving datasets should possess. It also delves into the scientific and technical challenges that warrant resolution. These endeavors are pivotal in advancing autonomous innovation and fostering technological enhancement in critical domains. For further details, please refer to https://github.com/OpenDriveLab/DriveAGI.

研究动机与目标

• 系统分析当前开源自动驾驶数据集在感知、地图构建和规划任务方面的现状。
• 识别现有数据集在处理罕见、长尾驾驶场景以及数据质量控制方面的局限性，从而凸显下一代数据系统的需求。
• 探讨数据引擎系统在实现可扩展的数据采集、标注、仿真和基于基础模型的自动标注中的作用。
• 定义第三代自动驾驶数据集的关键特征，包括模块化设计、多模态传感器融合以及具备推理感知能力的数据。
• 通过提出下一代数据生态系统的关键技术与科学挑战，为未来研究和产业发展提供指导。

提出的方法

• 根据传感器模式、数据规模、场景多样性及支持任务，将超过 70 个开源自动驾驶数据集划分为两代。
• 分析领先企业与研究机构的数据引擎系统，重点关注数据标注、质量控制、仿真以及基于基础模型的自动标注。
• 评估基础模型在生成多样化代理、道路标志和天气条件的高保真虚拟交通环境中的作用。
• 提出一种模块化、端到端的数据处理流程，整合数据采集、标注、仿真与模型微调，以减少人工干预并提升可扩展性。
• 讨论将自然语言与推理能力集成到数据集中，以支持自动驾驶系统实现更复杂的决策能力。
• 提出第三代数据集的愿景，强调大规模基础模型、高保真仿真以及对长尾场景的全面覆盖。

实验结果

研究问题

• RQ1 在传感器多样性、数据规模和任务范围方面，第一代与第二代自动驾驶数据集的关键差异是什么？
• RQ2 现代数据引擎系统如何提升自动驾驶数据流水线中的数据质量、标注效率和可扩展性？
• RQ3 基础模型在生成高质量、多样化且可扩展的自动驾驶合成数据方面有哪些应用方式？
• RQ4 第三代自动驾驶数据集必须具备哪些核心特征，才能支持鲁棒、泛化能力强且安全的自动驾驶系统？
• RQ5 如何设计数据生态系统，以有效应对真实世界数据有限的长尾驾驶场景？

主要发现

• 第一代数据集如 KITTI（2012）仅包含前向摄像头与 LiDAR，任务集中于感知层面；而第二代数据集如 nuScenes 和 Waymo（2019）扩展至多传感器融合、高清地图，并涵盖感知、预测与规划等多任务。
• 自动驾驶模型性能在达到一定数据量后趋于平缓，表明仅增加数据量不足以提升性能——场景多样性与长尾场景覆盖更为关键。
• 基础模型能够实现可扩展、高保真的虚拟交通环境生成，涵盖多样化代理、道路标志与天气条件，从而降低对昂贵真实世界数据采集的依赖。
• 集成自动标注、仿真与质量控制的数据引擎系统显著降低标注成本，提升数据一致性与可扩展性。
• 第三代数据集必须整合大规模基础模型，支持模块化与端到端系统开发，并包含具备推理感知能力的标注，以增强模型泛化能力。
• 将自然语言与逻辑推理能力融入数据集，对于使自动驾驶系统理解复杂交通场景并做出可解释决策至关重要。