[论文解读] Nostalgin: Extracting 3D City Models from Historical Image Data

Amol Kapoor, Hunter Larco+1 more|arXiv (Cornell University)|May 6, 2019

Advanced Vision and Imaging参考文献 22被引用 4

一句话总结

Nostalgin 是一个深度学习流程，能够从稀疏、低质量且缺乏元数据的历史图像中重建三维城市模型。通过结合语义分割、新型图像校正和高效的图像修复技术，它能从每面墙仅一张图像中生成逼真的三维重建结果，即使存在遮挡或未知相机参数的情况，成功重建了两个1940年代曼哈顿街区的三维模型。

ABSTRACT

What did it feel like to walk through a city from the past? In this work, we describe Nostalgin (Nostalgia Engine), a method that can faithfully reconstruct cities from historical images. Unlike existing work in city reconstruction, we focus on the task of reconstructing 3D cities from historical images. Working with historical image data is substantially more difficult, as there are significantly fewer buildings available and the details of the camera parameters which captured the images are unknown. Nostalgin can generate a city model even if there is only a single image per facade, regardless of viewpoint or occlusions. To achieve this, our novel architecture combines image segmentation, rectification, and inpainting. We motivate our design decisions with experimental analysis of individual components of our pipeline, and show that we can improve on baselines in both speed and visual realism. We demonstrate the efficacy of our pipeline by recreating two 1940s Manhattan city blocks. We aim to deploy Nostalgin as an open source platform where users can generate immersive historical experiences from their own photos.

研究动机与目标

• 实现从稀疏、低质量、元数据匮乏的历史图像中自动重建三维历史城市。
• 克服历史图像数据中的挑战，如相机参数缺失、遮挡和图像密度低等问题。
• 开发一种可扩展、模块化的流程，即使仅输入每面墙一张图像，也无需多视角图像或人工标注即可运行。
• 创建一个平台，使用户能够从个人或档案照片中生成沉浸式、可行走的三维历史环境。
• 在速度、视觉真实感和对图像稀疏性与退化程度的鲁棒性方面，优于现有方法。

提出的方法

• 一种混合深度学习与算法的方法，用于从历史图像中对建筑立面进行紧密语义分割。
• 一种新型图像校正方法，可处理历史照片中未知的相机参数和非均匀畸变。
• 一种针对大规模、高分辨率图像优化的高效深度图像修复技术，可重建被遮挡或缺失的立面细节。
• 一种三维建模系统，利用几何约束与空间推理，将校正和修复后的立面图像整合到一致的三维城市布局中。
• 一种分布式处理流程，可从档案图像集合中端到端重建整个街区。
• 集成上下文注意力机制与多尺度特征提取，以提升修复质量与可扩展性。

实验结果

研究问题

• RQ1 即使相机参数未知且存在遮挡，能否仅从每面墙一张历史图像中重建三维城市模型？
• RQ2 如何使图像分割与校正在历史图像质量差且缺乏元数据的情况下依然保持鲁棒性？
• RQ3 哪些架构选择能够实现在大规模历史图像上高效且高保真度的图像修复，同时计算成本显著降低？
• RQ4 全自动流程在视觉真实感与重建速度方面，能在多大程度上超越现有基线方法？
• RQ5 所生成的三维模型能否支持完全可行走、交互式的环境，准确反映历史城市布局？

主要发现

• 与 FreeForm 图像修复基线相比，Nostalgin 将运行时间减少了 90.7%，堆内存分配减少了 79.6%，展现出卓越的可扩展性。
• 在处理全分辨率图像时，堆内存分配减少 27.8%，运行时间减少 54.7%，表明其具有出色的内存与运行时效率。
• 该流程仅使用纽约市政档案馆的档案图像，成功重建了两个1940年代曼哈顿街区，且未使用地理标记或 EXIF 数据。
• 三维重建结果完全可行走，支持原始图像中不存在的动态视角，证实了模型的几何一致性。
• 与现代 Google 街景图像的定性对比显示，Nostalgin 准确捕捉了已拆除或显著改变的建筑。
• 上下文注意力与多尺度特征的结合仅导致 $l1$ 和 $l2$ 损失轻微增加，但显著提升了修复质量，表明具有极高的视觉保真度。