[论文解读] TorontoCity: Seeing the World with a Million Eyes

Shenlong Wang, Min Bai+8 more|arXiv (Cornell University)|Dec 1, 2016

Automated Road and Building Extraction参考文献 26被引用 19

一句话总结

TorontoCity 提出了一项大规模、多视角的城市场景理解基准，覆盖多伦多712.5 km²的区域，包含航空、无人机和地面级影像。该基准利用高精度地图生成多样且准确的标注，用于建筑实例分割、道路中心线提取和语义标注等任务，揭示尽管卷积神经网络在语义分割任务上表现优异，但在实例级和几何任务上仍面临显著挑战。

ABSTRACT

In this paper we introduce the TorontoCity benchmark, which covers the full greater Toronto area (GTA) with 712.5 $km^2$ of land, 8439 $km$ of road and around 400,000 buildings. Our benchmark provides different perspectives of the world captured from airplanes, drones and cars driving around the city. Manually labeling such a large scale dataset is infeasible. Instead, we propose to utilize different sources of high-precision maps to create our ground truth. Towards this goal, we develop algorithms that allow us to align all data sources with the maps while requiring minimal human supervision. We have designed a wide variety of tasks including building height estimation (reconstruction), road centerline and curb extraction, building instance segmentation, building contour extraction (reorganization), semantic labeling and scene type classification (recognition). Our pilot study shows that most of these tasks are still difficult for modern convolutional neural networks.

研究动机与目标

• 解决缺乏大规模、多视角城市基准的问题，该基准需整合几何、分组与语义信息。
• 通过使用高精度地图作为真实标签的代理，克服大规模城市数据集人工标注不可行的问题。
• 支持具有挑战性的城市感知任务研究，如建筑实例分割、轮廓提取与高度估计。
• 提供一个可扩展的多传感器平台（航空、无人机、车载），用于在多样化视角下评估模型性能。
• 为未来城市人工智能任务（如立面解析、树木检测与交通标志识别）奠定基础。

提出的方法

• 利用高精度城市地图（包括三维建筑模型与产权元数据）生成仅需极少人工干预的地面真实标注。
• 开发配准算法，将航空、无人机与地面影像（如全景图、立体图像、激光雷达）与基于地图的参考系统对齐。
• 使用形态学操作（腐蚀、膨胀、闭运算）优化语义与实例分割结果，提升边界精度。
• 应用Ramer-Douglas-Peucker算法，从检测到的实例中简化建筑轮廓，降低多边形复杂度。
• 采用深度学习模型（如ResNet、VGG、GoogleNet等）在ImageNet上微调或从头训练，以解决语义标注与场景分类等任务。
• 采用自顶向下IoU与像素准确率指标评估地面视角道路分割的模型性能，获得接近完美的得分。

实验结果

研究问题

• RQ1 高精度城市地图能否有效用于生成大规模城市感知任务的准确、可扩展的地面真实标注？
• RQ2 当前深度学习模型在多种城市传感模态（航空、地面、激光雷达）之间泛化能力如何？
• RQ3 最先进CNN模型在实例级与几何任务（如建筑实例分割与轮廓提取）上的表现如何？
• RQ4 语义分割与更复杂任务（如建筑高度估计与道路中心线提取）之间的性能差距有多大？
• RQ5 全景街景数据能否用于自动生成高分辨率、高精度的城市地图？

主要发现

• 语义分割与场景分类任务表现优异（如使用预训练权重的ResNet-152），表明在粗粒度任务上具有强大泛化能力。
• 地面视角道路分割的平均IoU达到97.21%，像素准确率达到98.64%，表明当前模型已近乎解决该任务。
• 建筑实例分割与轮廓提取仍具挑战性，形态学滤波虽有改善但未能解决当前网络的核心局限。
• 仅通过航空影像进行建筑高度估计的网络均未解决该问题，表明深度学习在该任务上仍存在显著开放挑战。
• 道路中心线与路缘提取表现中等，ResNet与形态学滤波组合效果最佳，但仍远未达到完美。
• 试点研究显示，尽管语义与识别任务已可处理，但实例级与几何推理任务仍基本未解决，凸显了对新方法的迫切需求。