[论文解读] SensatUrban: Learning Semantics from Urban-Scale Photogrammetric Point Clouds

Qingyong Hu, Bo Yang+4 more|arXiv (Cornell University)|Jan 12, 2022

Remote Sensing and LiDAR Applications被引用 4

一句话总结

SensatUrban 引入了一个大规模的城市级摄影测量点云数据集，覆盖英国三个城市共 7.6 km² 的区域，包含近三十亿个点，并以 13 种语义类别进行标注。该数据集使大规模 3D 语义分割模型的基准测试成为可能，揭示了在可扩展性、类别不平衡和泛化能力方面面临的关键挑战，同时证明了在大规模城市场景中进行自监督预训练的有效性。

ABSTRACT

With the recent availability and affordability of commercial depth sensors and 3D scanners, an increasing number of 3D (i.e., RGBD, point cloud) datasets have been publicized to facilitate research in 3D computer vision. However, existing datasets either cover relatively small areas or have limited semantic annotations. Fine-grained understanding of urban-scale 3D scenes is still in its infancy. In this paper, we introduce SensatUrban, an urban-scale UAV photogrammetry point cloud dataset consisting of nearly three billion points collected from three UK cities, covering 7.6 km^2. Each point in the dataset has been labelled with fine-grained semantic annotations, resulting in a dataset that is three times the size of the previous existing largest photogrammetric point cloud dataset. In addition to the more commonly encountered categories such as road and vegetation, urban-level categories including rail, bridge, and river are also included in our dataset. Based on this dataset, we further build a benchmark to evaluate the performance of state-of-the-art segmentation algorithms. In particular, we provide a comprehensive analysis and identify several key challenges limiting urban-scale point cloud understanding. The dataset is available at http://point-cloud-analysis.cs.ox.ac.uk.

研究动机与目标

• 解决在细粒度城市场景理解方面缺乏大规模、高质量、逼真的 3D 点云数据集的问题。
• 实现对城市规模数据上最先进 3D 语义分割模型的评估。
• 研究在大规模点云上进行数据预处理、类别不平衡和模型泛化方面的挑战。
• 探索在城市规模点云上进行自监督和半监督预训练的可行性和影响。
• 为未来在 3D 计算机视觉、遥感和城市 3D 建模领域的研究提供基准。

提出的方法

• 使用无人机航拍摄影测量技术，从英国三个城市——伯明翰、剑桥和约克——获取高度重叠的空中图像以构建数据集。
• 通过摄影测量技术从这些图像中重建点云，生成具有丰富几何和外观信息的密集、彩色 3D 点云。
• 伯明翰和剑桥数据集中的每个点均手动标注为 13 种语义类别之一，包括道路、植被、铁路、桥梁和河流。
• 约克数据集保持未标注状态，以支持未来半监督和自监督学习研究。
• 通过三种基线网络——PointNet、PCN 和 DGCNN——建立了全面的基准测试，评估了三种训练策略：从预训练模型微调、使用遮挡补全进行预训练，以及从零开始训练。
• 实验评估了预训练对性能的影响，特别是对铁路和桥梁等少数类别的影响，采用如拼图预测和遮挡补全等自监督目标。

实验结果

研究问题

• RQ1 现有的 3D 语义分割深度学习模型能否在包含超过三十亿个点、覆盖 7.6 km² 城市规模点云上实现有效泛化？
• RQ2 在物体级别数据（如 ModelNet40）上进行自监督预训练，能否提升在大规模城市点云上的性能？
• RQ3 在城市场景中，颜色和外观信息的引入在多大程度上改善了语义分割效果？
• RQ4 当存在极端类别不平衡（如地面和植被远多于铁路和水体）时，会对模型性能和泛化能力产生何种影响？
• RQ5 弱监督或半监督学习技术能否有效利用未标注的约克点云数据，从而提升分割性能？

主要发现

• SensatUrban 数据集的规模是此前最大摄影测量点云数据集的三倍，覆盖 7.6 km²，包含近三十亿个标注点。
• 在物体级别数据（如 ModelNet40）上进行预训练，随后在 SensatUrban 上微调，显著提升了性能，尤其在铁路和桥梁等少数类别上，性能提升最高接近 10%。
• 采用如遮挡补全和拼图预测等自监督预训练目标，可减少对主导类别的过拟合，并提升对稀有类别的鲁棒性。
• 基准测试结果表明，数据准备、类别不平衡处理以及模型泛化能力仍是将 3D 语义分割扩展至城市规模场景时的关键挑战。
• 点云中包含颜色和外观信息被证明有利于语义理解，但其全面影响仍有待进一步研究。
• 未标注约克点云数据的发布，为未来在大规模城市点云上开展半监督和自监督学习研究提供了可能。