[论文解读] Virtual KITTI 2.

Yohann Cabon, Naila Murray+1 more|arXiv (Cornell University)|Jan 29, 2020

Advanced Vision and Imaging参考文献 27被引用 41

一句话总结

本论文提出了 Virtual KITTI 2，一个增强的合成数据集，扩展了原始的 Virtual KITTI 数据集，包含在多种条件下（如雾、雨、旋转相机）的 5 个 KITTI 跟踪序列。该数据集提供了丰富的标注，包括 RGB、深度、语义分割、光流和场景流，支持自动驾驶感知任务的最先进评估。

ABSTRACT

This paper introduces an updated version of the well-known Virtual KITTI dataset which consists of 5 sequence clones from the KITTI tracking benchmark. In addition, the dataset provides different variants of these sequences such as modified weather conditions (e.g. fog, rain) or modified camera configurations (e.g. rotated by 15 degrees). For each sequence, we provide multiple sets of images containing RGB, depth, class segmentation, instance segmentation, flow, and scene flow data. Camera parameters and poses as well as vehicle locations are available as well. In order to showcase some of the dataset's capabilities, we ran multiple relevant experiments using state-of-the-art algorithms from the field of autonomous driving. The dataset is available for download at this https URL.

研究动机与目标

• 为解决训练和评估自动驾驶感知系统对多样化、真实感强且完全标注的合成数据集的需求。
• 通过引入受天气条件和相机配置改变影响的新序列变体，扩展原始的 Virtual KITTI 数据集。
• 提供全面的多模态标注（RGB、深度、语义分割、光流），以支持感知算法的基准测试。
• 利用可控且可扩展的合成环境，实现对最先进算法在具有挑战性的环境条件下的评估。

提出的方法

• 扩展原始的 Virtual KITTI 框架，从 KITTI 跟踪基准中生成 5 个序列的克隆版本。
• 应用合成数据增强技术，模拟雾和雨等恶劣天气条件。
• 引入相机配置变体，包括 15 度旋转，以测试对传感器错位的鲁棒性。
• 生成同步的多任务标注：RGB 图像、深度图、语义和实例分割掩码、光流和场景流。
• 为每帧提供精确的相机内参、外参和车辆位姿数据，以支持几何推理。
• 使用最先进感知算法验证数据集，以证明其在真实世界基准测试中的实用性。

实验结果

研究问题

• RQ1 在合成的恶劣天气条件（如雾和雨）下，自动驾驶感知模型的性能会如何退化？
• RQ2 相机配置变化（如 15 度旋转）在多大程度上影响深度和光流估计网络的鲁棒性？
• RQ3 像 Virtual KITTI 2 这样的合成数据集能否在多任务感知任务中有效泛化到真实世界驾驶场景？
• RQ4 最先进模型在受控的合成环境中，对多模态标注（例如场景流、实例分割）的性能表现如何？

主要发现

• Virtual KITTI 2 数据集支持在多样化环境和传感器配置下对感知模型进行一致评估。
• 在 Virtual KITTI 2 上训练的模型在合成雾和雨条件下表现出可测量的性能退化，反映了真实世界中的挑战。
• 引入旋转相机配置后，深度和光流估计中引入了可测量的误差，凸显了对传感器错位的敏感性。
• 该数据集支持端到端的多任务感知流水线评估，包括语义分割、实例分割、光流和场景流。
• 最先进算法在 Virtual KITTI 2 上实现了具有竞争力的性能，验证了其作为合成数据评估基准的实用性。
• 真实相机位姿和车辆位置的可用性使得轨迹和运动估计的评估更加准确。