[论文解读] Neural Turtle Graphics for Modeling City Road Layouts

Hang Chu, Daiqing Li+7 more|arXiv (Cornell University)|Oct 4, 2019

Automated Road and Building Extraction参考文献 40被引用 6

一句话总结

本文提出神经海龟绘图（Neural Turtle Graphics, NTG），一种序列生成模型，通过基于现有拓扑结构逐步添加节点和边，将城市道路布局构建为空间图。NTG在航空道路解析任务中表现优于当前最先进方法（SpaceNet数据集上达到74.97 APLS），并实现了可控、交互式且多样化的城市布局生成。

ABSTRACT

We propose Neural Turtle Graphics (NTG), a novel generative model for spatial graphs, and demonstrate its applications in modeling city road layouts. Specifically, we represent the road layout using a graph where nodes in the graph represent control points and edges in the graph represent road segments. NTG is a sequential generative model parameterized by a neural network. It iteratively generates a new node and an edge connecting to an existing node conditioned on the current graph. We train NTG on Open Street Map data and show that it outperforms existing approaches using a set of diverse performance metrics. Moreover, our method allows users to control styles of generated road layouts mimicking existing cities as well as to sketch parts of the city road layout to be synthesized. In addition to synthesis, the proposed NTG finds uses in an analytical task of aerial road parsing. Experimental results show that it achieves state-of-the-art performance on the SpaceNet dataset.

研究动机与目标

• 开发一种数据驱动的深度生成模型，用于城市道路布局，以克服基于手工规则的程序化建模方法的局限性。
• 通过基于城市特定风格或部分草图的条件控制，实现用户可控的道路布局生成。
• 利用学习到的道路拓扑结构作为先验，提升在图像差异较大的未见城市中鲁棒的航空道路解析性能。
• 展示NTG在合成环境生成与卫星图像分析解析两方面的双重实用性。

提出的方法

• NTG将道路布局建模为平面图，其中节点表示控制点，边表示道路段。
• 模型采用编码器-解码器RNN架构：编码器处理输入边以生成节点表示，解码器按顺序生成新节点和边。
• 生成过程通过维护一个未访问节点队列进行迭代，每一步均基于当前图结构进行条件生成。
• 模型在OpenStreetMap数据上进行训练，以学习真实的道路拓扑结构，并可通过图像特征进行微调以用于解析任务。
• 在交互式生成中，用户可提供部分草图，作为初始图状态以引导生成过程。
• 在解析任务中，NTG通过利用学习到的结构先验，将CNN-based的道路段预测结果优化为连贯的图结构，从而充当拓扑先验。

实验结果

研究问题

• RQ1 深度生成模型能否直接从地图数据中学习生成真实且拓扑有效的城市道路布局，而无需依赖手工规则？
• RQ2 当图像数据与训练数据存在差异时，NTG在未见城市中进行航空道路解析时的泛化能力如何？
• RQ3 NTG能否作为有效的拓扑先验，显著提升CNN-based道路解析的质量，超越标准后处理方法？
• RQ4 NTG在实现用户可控风格的交互式草图引导城市布局生成方面效果如何？
• RQ5 同一生成模型能否用于从卫星图像中自动合成多样化、适用于仿真的城市环境？

主要发现

• NTG在SpaceNet基准测试中达到74.97 APLS，优于所有先前方法，包括强Baseline模型如DLA+STEAL（71.04 APLS）。
• 在RoadNet上训练并作为拓扑先验使用（NTG-P）时，模型在未见城市中的解析性能优于标准后处理方法，尤其在未见城市中表现更优（57.89 APLS vs. 56.15 for DLA+STEAL）。
• 通过微调NTG引入图像特征（NTG-I）可进一步将性能提升至74.97 APLS，证明其作为端到端解析先验的有效性。
• NTG-P显著优于RoadTracer-30（42.94 APLS）和DeepRoadMapper（51.49 APLS），表明学习到的拓扑结构比启发式图提取方法更具鲁棒性。
• 该模型可通过风格条件生成方式扩展解析后的道路图，实现从卫星图像中全自动、多样化地生成仿真可用的城市环境。
• 用户指定的部分草图可有效引导生成完整、连贯且风格一致的城市道路布局。