[论文解读] Vectorizing World Buildings: Planar Graph Reconstruction by Primitive Detection and Relationship Inference

Nelson Nauata, Yasutaka Furukawa|arXiv (Cornell University)|Dec 11, 2019

Remote Sensing and LiDAR Applications参考文献 30被引用 5

一句话总结

该论文提出了一种新颖的2D室外建筑矢量化方法，通过检测几何基元（角落、边缘、区域）并利用深度学习推断其关系，再通过整数规划重建平面图。该方法在包含2,001栋复杂建筑的新基准上实现了最先进性能，显著优于先前方法，在从单张RGB图像重建高保真建筑结构方面表现出色。

ABSTRACT

This paper tackles a 2D architecture vectorization problem, whose task is to infer an outdoor building architecture as a 2D planar graph from a single RGB image. We provide a new benchmark with ground-truth annotations for 2,001 complex buildings across the cities of Atlanta, Paris, and Las Vegas. We also propose a novel algorithm utilizing 1) convolutional neural networks (CNNs) that detects geometric primitives and infers their relationships and 2) an integer programming (IP) that assembles the information into a 2D planar graph. While being a trivial task for human vision, the inference of a graph structure with an arbitrary topology is still an open problem for computer vision. Qualitative and quantitative evaluations demonstrate that our algorithm makes significant improvements over the current state-of-the-art, towards an intelligent system at the level of human perception. We will share code and data.

研究动机与目标

• 为解决从单张RGB图像重建室外建筑结构的2D平面图这一挑战，尽管人类感知能力已达到高水平，但计算机视觉仍面临困难。
• 提出一个包含亚特兰大、巴黎和拉斯维加斯三地共2,001栋复杂建筑标注的新基准，涵盖除轮廓外的内部建筑特征线。
• 开发一种混合框架，结合基于深度学习的基元检测与关系推断，以及整数规划，实现整体几何推理。
• 实现在大规模场景下达到CAD质量的建筑重建，支持城市规划、数字制图和建筑分析等应用。

提出的方法

• 该方法使用卷积神经网络（CNN）在单张RGB图像中检测三种几何基元：角落、边缘和区域。
• 利用学习到的表征推断两类关系：角落到边缘关系与区域到区域关系，以引导结构一致性。
• 通过整数规划（IP）公式将基元检测结果与关系信息融合，生成一致的2D平面图，强制执行拓扑与几何约束。
• IP目标函数整合了基元检测器与关系预测的置信度分数，以最大化结构准确性。
• 系统在包含复杂建筑地面实况标注（包括内部特征线）的新基准上进行训练与评估。
• 消融研究验证了各组件的贡献，表明增加关系信息与区域检测可显著提升性能。

实验结果

研究问题

• RQ1 基于深度学习与整数规划的框架能否从单张RGB图像高保真地重建复杂2D平面图？
• RQ2 基元检测与关系推断在平面图重建整体准确性中分别起到何种作用？
• RQ3 与仅依赖基元检测相比，几何关系的整合在多大程度上提升了重建的鲁棒性？
• RQ4 在处理具有任意拓扑结构与非曼哈顿几何的建筑时，所提方法与最先进方法相比表现如何？

主要发现

• 所提方法在最先进水平上实现显著提升，尤其在区域F1分数上，当加入角落到边缘关系后，该指标翻倍。
• 完整系统（包含角落、边缘、区域及两类关系）表现最佳，证明整体推理的重要性。
• 消融研究显示，仅添加角落到边缘关系即可使区域F1分数翻倍，凸显其在结构一致性中的关键作用。
• 该方法优于强基线方法Floor-SP，后者因依赖精确主方向与完美区域检测而表现受限。
• 失败案例揭示了在缺失角落、曲线结构及低信噪比图像下的局限性，表明对检测误差与非线性几何的敏感性。