[论文解读] Primitive-based 3D Building Modeling, Sensor Simulation, and Estimation

Xia Li, Yen-Liang Lin+3 more|arXiv (Cornell University)|Jan 16, 2019

Remote Sensing and LiDAR Applications参考文献 7被引用 4

一句话总结

本文提出一种基于合成数据的、面向基元的3D建筑建模方法，将建筑分解问题建模为实例分割后接基元拟合。通过生成具有多样化形状、高度和形变的合成建筑，该方法在从卫星影像重建紧凑且可解释的3D模型方面实现了高精度，将多边形数量减少高达99.9%，同时在真实世界WorldView-3数据上保持90%以上的F1分数。

ABSTRACT

As we begin to consider modeling large, realistic 3D building scenes, it becomes necessary to consider a more compact representation over the polygonal mesh model. Due to the large amounts of annotated training data, which is costly to obtain, we leverage synthetic data to train our system for the satellite image domain. By utilizing the synthetic data, we formulate the building decomposition as an application of instance segmentation and primitive fitting to decompose a building into a set of primitive shapes. Experimental results on WorldView-3 satellite image dataset demonstrate the effectiveness of our 3D building modeling approach.

研究动机与目标

• 解决从遥感数据生成紧凑且可解释的3D建筑模型的挑战。
• 克服多边形网格表示方法的局限性，后者冗长且缺乏语义结构。
• 减少对昂贵的真实世界标注训练数据在3D建筑重建中的依赖。
• 开发一种可扩展的、基于数据驱动的方法，利用合成数据生成与深度学习实现基于基元的3D建模。
• 实现在卫星影像中对复杂建筑形状的鲁棒实例分割与基元拟合。

提出的方法

• 一个合成建筑生成流水线通过递归地将空间划分为非重叠矩形，并分配随机高度和基元类型（例如，长方体、三棱柱、椭圆柱体），生成多样化的建筑轮廓。
• 立体模拟通过添加高斯噪声、边界扰动和光滑处理，生成逼真的高度图，以模拟卫星立体重建伪影（例如，来自s2p的伪影）。
• 在合成数据上训练级联实例分割网络，以将建筑分解为多个部分，通过随机旋转（0°至45°）进行数据增强，以提升泛化能力。
• 对每个分割部分，使用一致点漂移（CPD）进行基元分类与拟合，通过刚性变换（旋转、平移、缩放）将预测的基元与3D点云对齐。
• 基于最小拟合误差选择最佳匹配的基元，最终3D模型通过正交彩色图像进行纹理映射。
• 通过一个校正步骤填充部分之间的内部空隙，以改善分解的连续性。

实验结果

研究问题

• RQ1 合成数据能否在无需真实世界标注的情况下有效训练深度学习模型，以实现3D建筑分解？
• RQ2 实例分割与基元拟合在多大程度上能从卫星衍生的数字高程模型中重建复杂建筑形状？
• RQ3 基于基元的建模在多大程度上减少了几何复杂性，同时保持了重建精度？
• RQ4 该方法在建筑密度与结构各异的城市环境中表现如何？
• RQ5 分解与拟合中的关键失败模式是什么，以及如何加以缓解？

主要发现

• 在AOI-1区域，2D完整度达93.9%，2D正确率97.8%，2D交并比（Jaccard）达92.0%，且在所有四个测试区域性能均超过90%。
• 在3D层面，该方法在AOI-1区域实现了93.7%的完整度、96.2%的正确率和90.4%的Jaccard指数，展现出优异的几何保真度。
• 平均而言，与密集三角化模型相比，该方法将顶点数量减少了99.9%，面数也减少了99.9%，每栋建筑平均仅保留994个顶点和1,680个面。
• 在AOI-4（佛罗里达州杰克逊维尔）区域性能最高，2D完整度与3D完整度均为96.0%，表明在低密度城市区域具有鲁棒性。
• 该方法优于基线网格模型，后者在AOI-4区域平均拥有超过700万个多边形，而本方法在保持高重建精度的同时显著降低了复杂度。
• 在堆叠建筑结构和盒状分解错误方面观察到局限性，表明在分层建模与基于CSG的建模方面仍有改进空间。