[论文解读] STPLS3D: A Large-Scale Synthetic and Real Aerial Photogrammetry 3D Point Cloud Dataset

Meida Chen, Qingyong Hu+7 more|arXiv (Cornell University)|Mar 17, 2022

Remote Sensing and LiDAR Applications被引用 42

一句话总结

本文提出 STPLS3D，这是一个将合成与真实航空摄影测量 3D 点云结合的大规模数据集，通过使用开放地理空间数据的完全自动化管道生成，以获得丰富标注的数据，并展示了合成数据在真实世界 3D 语义分割和泛化中的益处。

ABSTRACT

Although various 3D datasets with different functions and scales have been proposed recently, it remains challenging for individuals to complete the whole pipeline of large-scale data collection, sanitization, and annotation. Moreover, the created datasets usually suffer from extremely imbalanced class distribution or partial low-quality data samples. Motivated by this, we explore the procedurally synthetic 3D data generation paradigm to equip individuals with the full capability of creating large-scale annotated photogrammetry point clouds. Specifically, we introduce a synthetic aerial photogrammetry point clouds generation pipeline that takes full advantage of open geospatial data sources and off-the-shelf commercial packages. Unlike generating synthetic data in virtual games, where the simulated data usually have limited gaming environments created by artists, the proposed pipeline simulates the reconstruction process of the real environment by following the same UAV flight pattern on different synthetic terrain shapes and building densities, which ensure similar quality, noise pattern, and diversity with real data. In addition, the precise semantic and instance annotations can be generated fully automatically, avoiding the expensive and time-consuming manual annotation. Based on the proposed pipeline, we present a richly-annotated synthetic 3D aerial photogrammetry point cloud dataset, termed STPLS3D, with more than 16 $km^2$ of landscapes and up to 18 fine-grained semantic categories. For verification purposes, we also provide a parallel dataset collected from four areas in the real environment. Extensive experiments conducted on our datasets demonstrate the effectiveness and quality of the proposed synthetic dataset.

研究动机与目标

• 推动并实现大规模带标注的摄影测量 3D 点云的端到端创建。
• 提供一个完全自动、可控的管道，以生成与真实世界无人机工作流对齐的逼真合成数据。
• 平衡类别分布并实现自动语义与实例标注。
• 展示合成数据在提升真实世界 3D 语义分割与泛化方面的有效性。

提出的方法

• 使用 GIS 数据（OSM 足迹、道路网络、DSM）进行 3D 城市块的程序化生成，以及基于 CGA 的 CityEngine 模型以实现多样化的建筑风格。
• 在 Unreal Engine 4 中渲染带天气效果的 2D 图像，以模拟真实摄影测量输入，然后使用 ContextCapture 进行重建。
• 通过代理射线投射点云和最近邻标注并连接地面组件来提高对齐，将 2D 标签自动转移到 3D 摄影测量点。
• 作为渲染与重建管道的副产物，自动生成语义和实例标注。
• 大规模合成数据集（SyntheticV1、SyntheticV2、SyntheticV3）覆盖约 16 km2，含最多 18 个语义类别和 14 个实例类别，以及四个真实场地（USC、WMSC、OCCC、RA）。
• 评估框架将 STPLS3D 上的最先进 3D 语义分割与实例分割基线整合在一起。

实验结果

研究问题

• RQ1 一个完全自动的合成数据生成管道是否能够产生具备摄影测量域适配性且带有自动标注的高保真 3D 航拍数据？
• RQ2 在用于训练时，合成的 STPLS3D 数据是否提高真实世界的 3D 语义分割性能和泛化能力？
• RQ3 合成与真实户外摄影测量数据之间的局限性与领域差距是什么，以及它们如何影响对象级任务？
• RQ4 混合真实与合成数据对大规模户外场景的性能有何影响？
• RQ5 使用自动标注相较于人工标注，其标注质量与成本节省的相对关系如何？

主要发现

• STPLS3D 数据集在4个真实站点中覆盖 >16 km2 的合成地形与 1.27 km2 的真实子集，含最多 18 个语义类与 14 个实例类。
• 所有测试的基线在以合成数据训练时相较仅用真实数据，均有所提升，表明合成数据提供了有益的多样性与规模。
• 使用真实数据+合成数据训练在多数基线中达到最佳的 mIoU（例如 KPConv 的 mIoU 提升近 8 个百分点）。
• 合成数据提升泛化能力：在 FDc 跨数据集评估中，PointTransformer 的 mIoU 通过增加合成数据提升约 13%。
• 在合成子集上的实例分割，HAIS 的表现优于 PointGroup，但对于户外尺度场景仍具挑战，凸显户外领域相较于室内数据集的差距。
• 所提管道实现了自动、可扩展地生成标注丰富的 3D 摄影测量数据，且噪声特性与真实数据相近，显著降低标注成本。