[论文解读] Topological Map Extraction from Overhead Images

Zuoyue Li, Jan Dirk Wegner+1 more|arXiv (Cornell University)|Dec 4, 2018

Automated Road and Building Extraction参考文献 50被引用 5

一句话总结

本文提出 PolyMapper，一种端到端深度学习框架，可直接从航空影像中提取拓扑地图——将建筑物和道路表示为矢量化多边形，无需像素级分割。通过采用新型图到多边形的序列化方法的 CNN-RNN 架构，PolyMapper 在建筑物轮廓和道路网络提取任务中均达到最先进性能，生成紧凑且拓扑一致的矢量地图，与真实世界地图服务高度一致。

ABSTRACT

We propose a new approach, named PolyMapper, to circumvent the conventional pixel-wise segmentation of (aerial) images and predict objects in a vector representation directly. PolyMapper directly extracts the topological map of a city from overhead images as collections of building footprints and road networks. In order to unify the shape representation for different types of objects, we also propose a novel sequentialization method that reformulates a graph structure as closed polygons. Experiments are conducted on both existing and self-collected large-scale datasets of several cities. Our empirical results demonstrate that our end-to-end learnable model is capable of drawing polygons of building footprints and road networks that very closely approximate the structure of existing online map services, in a fully automated manner. Quantitative and qualitative comparison to the state-of-the-art also shows that our approach achieves good levels of performance. To the best of our knowledge, the automatic extraction of large-scale topological maps is a novel contribution in the remote sensing community that we believe will help develop models with more informed geometrical constraints.

研究动机与目标

• 开发一种端到端深度学习模型，直接从航空影像预测矢量化拓扑地图（建筑物和道路），避免中间的像素级分割步骤。
• 通过将图结构的道路网络重新表述为闭合的、顺序的多边形，统一建筑物和道路等不同几何对象的表示方式。
• 构建一个大规模、公开可用的数据集，包含建筑物轮廓和道路网络，用于航空影像制图的训练与评估。
• 证明直接矢量预测相比传统的基于掩码的分割方法，能生成更紧凑、更自然且与地图服务对齐的输出。

提出的方法

• PolyMapper 使用 CNN 主干网络从航空影像图块中提取空间特征，检测建筑物和道路的关键点与边缘特征。
• 多层 ConvLSTM 依序处理特征图，为每个对象实例生成矢量表示。
• 提出一种新型图到多边形转换方法，利用迷宫求解算法将无向道路网络转换为一致的闭合多边形序列。
• 对于建筑物，利用 FPN 生成的区域建议框结合 RoIAlign 提取局部特征，以实现精确的多边形生成。
• 模型独立处理每个城市图块，随后通过空间一致性和拓扑匹配将不同图块间的道路段拼接起来。
• 采用统一的损失函数联合优化检测与矢量化过程，支持端到端联合训练。

实验结果

研究问题

• RQ1 深度学习模型能否直接从航空影像中预测矢量化拓扑地图（建筑物和道路），而无需依赖像素级分割？
• RQ2 如何系统性地将图结构的道路网络转换为闭合的、顺序的多边形表示，以实现统一的矢量输出？
• RQ3 端到端矢量预测是否优于或至少匹配使用中间像素级分割的最先进方法在建筑物和道路提取任务中的表现？
• RQ4 单一模型在多种城市拓扑结构下对建筑物和道路制图任务的泛化能力如何？
• RQ5 所生成的矢量地图在几何保真度和紧凑性方面与真实世界在线地图服务相比如何？

主要发现

• 在 PolyMapper 数据集上，PolyMapper 在建筑物轮廓检测任务中达到 44.7 mAP（AP），优于 Mask R-CNN（42.0）和 PANet（42.1），且召回率与精确率更高。
• 在道路网络提取任务中，PolyMapper 达到 92.4% AP@85，优于 DeepRoadMapper（74.3%）和 RoadTracer（82.8%），表明其在拓扑结构预测方面具有更高精度。
• PolyMapper 生成的最终矢量地图包含 31,749 个顶点和 35,998 条边，显著少于 RoadTracer（271k 个顶点）和 DeepRoadMapper（126k 个顶点），展现出极高的紧凑性。
• 该模型在城市间泛化良好，在波士顿、芝加哥和森尼维尔均保持一致性能，所有指标的加权平均表现优异。
• PolyMapper 的矢量化输出在结构和拓扑上与真实世界地图服务高度相似，冗余极少，几何保真度高。
• 所提出的图到多边形序列化方法确保了拓扑一致性，并实现了输出矢量地图中多样化对象类型的统一处理。