[论文解读] PolyMapper: Extracting City Maps using Polygons.

Zuoyue Li, Jan Dirk Wegner+1 more|arXiv (Cornell University)|Dec 4, 2018

Automated Road and Building Extraction参考文献 39被引用 12

一句话总结

PolyMapper 提出了一种端到端的深度学习模型，可直接从航空影像中以闭合多边形的形式预测矢量化城市地图（包括建筑轮廓和道路网络），采用一种新颖的序列化方法统一几何表示。该方法在大规模拓扑地图自动提取方面达到最先进性能，且与现有地图服务高度一致。

ABSTRACT

We propose a new approach, named PolyMapper, to circumvent the conventional pixel-wise segmentation of (aerial) images and predict objects in a vector representation directly. PolyMapper directly extracts the topological map of a city from overhead images as collections of building footprints and road networks. In order to unify the shape representation for different types of objects, we also propose a novel sequentialization method that reformulates a graph structure as closed polygons. Experiments are conducted on both existing and self-collected large-scale datasets of several cities. Our empirical results demonstrate that our end-to-end learnable model is capable of drawing polygons of building footprints and road networks that very closely approximate the structure of existing online map services, in a fully automated manner. Quantitative and qualitative comparison to the state-of-the-art also shows that our approach achieves good levels of performance. To the best of our knowledge, the automatic extraction of large-scale topological maps is a novel contribution in the remote sensing community that we believe will help develop models with more informed geometrical constraints.

研究动机与目标

• 开发一种端到端可学习的模型，绕过像素级分割，直接输出矢量化城市地图。
• 使用统一的多边形格式统一表示各类城市对象（如建筑、道路）。
• 实现从高空影像中全自动、大规模提取拓扑城市地图。
• 提升遥感地图生成中的几何保真度与拓扑一致性。

提出的方法

• 提出一种新颖的序列化方法，将图结构的城市对象重新表述为闭合多边形表示。
• 设计一种深度学习架构，直接从航空影像预测多边形坐标，绕过分割过程。
• 采用可微分的多边形表示，实现带有几何监督的端到端训练。
• 采用统一的基于矢量的损失函数，同时优化形状准确度与拓扑一致性。
• 在多个城市现有的及新收集的大规模航空影像数据集上进行训练与评估。
• 集成多尺度特征与空间注意力机制，提升定位精度与边界精确度。

实验结果

研究问题

• RQ1 深度学习模型能否在不进行像素级分割的情况下，直接将城市地图（建筑与道路）作为闭合多边形进行预测？
• RQ2 统一的多边形表示在不同类型的都市对象中，能否有效保持几何与拓扑的准确性？
• RQ3 与传统的图结构或基于分割的方法相比，所提出的序列化方法在建模复杂城市结构方面有多大改进？
• RQ4 在定量地图质量与视觉保真度方面，PolyMapper 相较于最先进方法表现如何？

主要发现

• PolyMapper 实现了高几何精度，生成的建筑轮廓与道路网络与现有在线地图服务的结构高度接近。
• 该模型在多个城市现有的及自采的大规模数据集上均表现出强大的泛化能力。
• 定量比较显示，其在矢量化地图提取任务中优于最先进方法。
• 所提出的序列化方法实现了有效的端到端训练，显著提升了形状与拓扑一致性。
• 该方法可实现从航空影像中全自动、可扩展地生成拓扑城市地图。
• 结果证实，基于多边形监督的矢量建模相比像素级分割能提供更精确的几何约束。