[论文解读] SODA10M: Towards Large-Scale Object Detection Benchmark for Autonomous Driving

Jianhua Han, Xiwen Liang+8 more|arXiv (Cornell University)|Jun 21, 2021

Advanced Neural Network Applications参考文献 65被引用 11

一句话总结

SODA10M 为自动驾驶目标检测引入了首个大规模、多样化的基准数据集，包含 1000 万张未标注图像和 2 万张完全标注图像，覆盖 32 个城市及多种环境条件。该数据集通过利用原始数据，使自监督和半监督学习方法能够提升在真实驾驶场景中的鲁棒性，从而实现评估。

ABSTRACT

Aiming at facilitating a real-world, ever-evolving and scalable autonomous driving system, we present a large-scale benchmark for standardizing the evaluation of different self-supervised and semi-supervised approaches by learning from raw data, which is the first and largest benchmark to date. Existing autonomous driving systems heavily rely on `perfect' visual perception models (e.g., detection) trained using extensive annotated data to ensure the safety. However, it is unrealistic to elaborately label instances of all scenarios and circumstances (e.g., night, extreme weather, cities) when deploying a robust autonomous driving system. Motivated by recent powerful advances of self-supervised and semi-supervised learning, a promising direction is to learn a robust detection model by collaboratively exploiting large-scale unlabeled data and few labeled data. Existing dataset (e.g., KITTI, Waymo) either provides only a small amount of data or covers limited domains with full annotation, hindering the exploration of large-scale pre-trained models. Here, we release a Large-Scale Object Detection benchmark for Autonomous driving, named as SODA10M, containing 10 million unlabeled images and 20K images labeled with 6 representative object categories. To improve diversity, the images are collected every ten seconds per frame within 32 different cities under different weather conditions, periods and location scenes. We provide extensive experiments and deep analyses of existing supervised state-of-the-art detection models, popular self-supervised and semi-supervised approaches, and some insights about how to develop future models. The data and more up-to-date information have been released at this https URL.

研究动机与目标

• 为解决自动驾驶领域自监督与半监督目标检测缺乏大规模、多样化且可扩展的基准问题。
• 通过利用海量未标注数据与有限标注数据的结合，减少对昂贵且耗时的人工标注的依赖。
• 支持开发能够在夜间、极端天气及城市环境等多种真实驾驶条件下实现良好泛化的鲁棒感知系统。
• 通过一个反映真实世界分布偏移的现实、大规模数据集，实现对自监督与半监督方法的标准化评估。
• 通过发布全面且公开可用的基准，为未来可扩展、可泛化的对象检测研究提供基础。

提出的方法

• 从 32 个多样化城市以每 10 秒一次的间隔采集 1000 万张未标注图像，以确保涵盖不同天气、光照以及城市/乡村场景。
• 对 20,000 张图像进行标注，涵盖 6 种常见物体类别（如汽车、行人、自行车骑行者），以提供一个小型但高质量的标注子集，用于训练与评估。
• 设计数据集以支持自监督与半监督学习的评估，支持在未标注数据上进行预训练，并在有限标注数据上进行微调。
• 通过时间、空间和环境的多样性确保数据多样性，包括昼夜周期与不同天气条件。
• 发布完整数据集及相应的评估协议，以实现检测模型的标准化基准测试。
• 对监督学习、自监督学习与半监督学习模型开展广泛的消融研究与对比分析，以评估性能与泛化能力。

实验结果

研究问题

• RQ1 在仅含有限标注的大型真实世界自动驾驶检测基准上，自监督与半监督学习方法的表现如何？
• RQ2 数据多样性（涵盖城市、天气与一天中不同时段）在多大程度上影响目标检测模型的泛化能力与鲁棒性？
• RQ3 与在较小数据集上进行监督预训练相比，在 1000 万张未标注图像上进行预训练能带来多大的性能提升？
• RQ4 当在该新基准上评估时，现有最先进检测模型在真实世界分布偏移下的泛化能力如何？
• RQ5 通过对数据集中极端或罕见条件下模型的失败模式与鲁棒性进行分析，可以得出哪些洞见？

主要发现

• SODA10M 基准通过在 1000 万张未标注图像上进行自监督预训练，即使仅有 20,000 个标注样本，也能显著提升目标检测性能。
• 半监督学习方法通过有效利用大规模未标注数据，展现出在多样化驾驶条件下的优异泛化性能。
• 在 SODA10M 上预训练的模型对夜间驾驶和恶劣天气等分布偏移表现出更强的鲁棒性，优于在较小、多样性较低的数据集上训练的模型。
• 该基准揭示了当前监督学习模型在罕见或分布外场景下表现不佳，凸显了自监督与半监督方法的必要性。
• 大量分析表明，时空维度上的数据多样性对于提升模型泛化能力、降低真实部署中的故障率至关重要。
• SODA10M 的发布为未来在大规模真实世界自动驾驶目标检测中评估与比较各类方法提供了标准化平台。