[论文解读] SynthCity: A large scale synthetic point cloud

David Griffiths, J. Boehm|arXiv (Cornell University)|Jul 10, 2019

Remote Sensing and LiDAR Applications参考文献 14被引用 48

一句话总结

SynthCity 引入一个开放的、规模巨大的合成 MLS 点云，包含 367.9M 个带标签点，覆盖 9 个类别，在 Blender 中通过 Blensor 生成，用于预训练 3D 语义分割模型。

ABSTRACT

With deep learning becoming a more prominent approach for automatic classification of three-dimensional point cloud data, a key bottleneck is the amount of high quality training data, especially when compared to that available for two-dimensional images. One potential solution is the use of synthetic data for pre-training networks, however the ability for models to generalise from synthetic data to real world data has been poorly studied for point clouds. Despite this, a huge wealth of 3D virtual environments exist which, if proved effective can be exploited. We therefore argue that research in this domain would be of significant use. In this paper we present SynthCity an open dataset to help aid research. SynthCity is a 367.9M point synthetic full colour Mobile Laser Scanning point cloud. Every point is assigned a label from one of nine categories. We generate our point cloud in a typical Urban/Suburban environment using the Blensor plugin for Blender.

研究动机与目标

• 证明大规模合成点云用于预训练 3D 语义分割与分类网络的可行性。
• 提供一个公开可用的数据集，促进合成数据向真实世界三维数据的领域迁移研究。
• 探索用于合成 MLS 风格点云的生成流程、数据表示和标注方案。
• 讨论诸如类别不平衡与现实感等挑战，并提出在合成数据中缓解这些问题的策略。

提出的方法

• 使用 Blender 和 Blensor 传感器插件，在城市/郊区场景中生成一个大型、全球注册的 MLS 风格点云。
• 用 130 栋建筑、196 辆汽车、21 个自然地面平面、12 个地面平面、272 个杆状对象、172 个道路对象、1095 件街道家具对象和 217 棵树对场景进行建模。
• 在预定义轨迹上渲染 75,000 帧关键帧，并应用随机扰动以增加变异性。
• 使用从扫描仪位置与方向推导的计算变换 T 将每一帧的点变换到全局坐标系，包括旋转矩阵 R_x, R_y, R_z 和平移 S_x,S_y,S_z。
• 为每个点附加特征 x,y,z, x_n,y_n,z_n, time, eol，以及标签 l，l 在 0..8；数据以 Apache Parquet 格式存储以进行内存外处理。

实验结果

研究问题

• RQ1 合成的大规模三维点云是否能够有效地预训练用于真实世界的语义分割任务？
• RQ2 在用于预训练 MLS 风格点云时，合成数据在跨域上的泛化能力如何？
• RQ3 在合成三维数据中，哪些标注方案和特征集对逐点分类有效？
• RQ4 对于如此大规模的合成数据集，实际的数据存储与处理考虑有哪些？

主要发现

• 该数据集包含 367.9M 个点，分为 9 类标签。
• 最终特征集包括 x, y, z, x_n, y_n, z_n, R, G, B, time, eol, 与 label。
• Parquet 总数据集大小为 27.5GB，分成 9 个子区域以便内存管理和测试/训练分离。
• 类别分布存在不平衡，尽管目标是倾向较小的类别，但像道路/人行道等大面积连续类别主导。
• Blensor 基 MLS 仿真可以生成全局注册的带逐点标签的三维点，适用于语义分割研究。
• 该数据集可以扩展到其他扫描仪模型（如 Velodyne），并使用相同的流水线重新渲染。