[论文解读] UrbanScene3D: A Large Scale Urban Scene Dataset and Simulator.

Yilin Liu, Fuyou Xue+1 more|arXiv (Cornell University)|Jul 9, 2021

Robotics and Sensor-Based Localization参考文献 8被引用 10

一句话总结

UrbanScene3D 引入了一个大规模的城市场景数据集与模拟器，结合了人工构建的 CAD 模型与从航空影像重建的逼真、详细的 3D 重建结果。基于 Unreal Engine 4 和 AirSim 构建，它能够实现对自主智能体的高保真模拟，并提供丰富的标注信息，包括实例分割、深度图以及可见与遮挡区域的 3D 点云。

ABSTRACT

The ability to perceive the environments in different ways is essential to robotic research. This involves the analysis of both 2D and 3D data sources. We present a large scale urban scene dataset associated with a handy simulator based on Unreal Engine 4 and AirSim, which consists of both man-made and real-world reconstruction scenes in different scales, referred to as UrbanScene3D. Unlike previous works that purely based on 2D information or man-made 3D CAD models, UrbanScene3D contains both compact man-made models and detailed real-world models reconstructed by aerial images. Each building has been manually extracted from the entire scene model and then has been assigned with a unique label, forming an instance segmentation map. The provided 3D ground-truth textured models with instance segmentation labels in UrbanScene3D allow users to obtain all kinds of data they would like to have: instance segmentation map, depth map in arbitrary resolution, 3D point cloud/mesh in both visible and invisible places, etc. In addition, with the help of AirSim, users can also simulate the robots (cars/drones)to test a variety of autonomous tasks in the proposed city environment. Please refer to our paper and website(https://vcc.tech/UrbanScene3D/) for further details and applications.

研究动机与目标

• 为解决机器人感知研究中缺乏大规模、逼真的城市环境，这些环境同时结合了合成与真实世界 3D 场景数据的问题。
• 提供一个统一平台，整合 2D 与 3D 数据源，并提供精确的实例级标注，用于训练和评估感知系统。
• 支持在多样化城市场景中对自动驾驶汽车和无人机进行模拟，实现准确的传感器数据生成。
• 支持需要同时理解可见与遮挡 3D 场景的感知算法的开发。

提出的方法

• 该数据集将人工构建的 3D 模型与从航空影像中提取的高分辨率、逼真重建结果相结合，形成多样化的城市场景集合。
• 每栋建筑均经过人工分割并分配唯一实例标签，从而为每个场景生成详细的实例分割图。
• 模拟器利用 Unreal Engine 4 和 AirSim 实现动态机器人（汽车/无人机）部署与传感器数据生成。
• 用户可提取任意分辨率的 3D 点云与网格，包括相机不可见区域，以支持全面的场景分析。
• 系统支持生成深度图、带纹理的 3D 模型以及模拟真实世界机器人传感条件的传感器数据流。
• 该环境支持通过可配置的机器人行为与传感器配置，模拟自主导航任务。

实验结果

研究问题

• RQ1 如何构建一个大规模城市场景数据集，以结合合成与真实世界 3D 重建，从而提升真实感？
• RQ2 基于 Unreal Engine 4 和 AirSim 的模拟器在复杂城市环境中，能在多大程度上支持真实的机器人感知与导航任务？
• RQ3 一个集成了实例分割与多模态传感器数据（深度图、点云）的统一数据集，能否提升感知模型的训练与评估效果？
• RQ4 此类数据集在支持可见与遮挡场景区域中自主智能体的模拟方面，效率如何？

主要发现

• UrbanScene3D 提供了一个大规模城市数据集，同时包含紧凑的 CAD 模型与来自航空影像的详细真实世界重建。
• 数据集中每栋建筑均经过人工标注，从而为每个场景生成精确的实例分割图。
• 该数据集支持在可见与不可见区域生成 3D 点云与网格，支持全面的场景理解。
• 与 AirSim 的集成使得在多样化城市场景中实现自动驾驶汽车与无人机的真实模拟成为可能。
• 用户可提取任意分辨率的深度图以及带有完整实例级标注的带纹理 3D 模型。
• 该平台通过提供多样化、高保真的传感器数据输出，支持广泛的感知任务。