[论文解读] Using convolutional networks and satellite imagery to identify patterns in urban environments at a large scale

Adrian Albert, Jasleen Kaur+1 more|arXiv (Cornell University)|Apr 10, 2017

Remote-Sensing Image Classification参考文献 16被引用 23

一句话总结

本文提出了一种基于卷积神经网络（CNNs）和卫星图像的深度学习框架，用于大规模分类城市土地利用，利用一个涵盖10个欧洲城市的14万份样本的新开放数据集。结果表明，CNN学习到的特征能够实现精确的土地利用分类，并支持有意义的跨城市街区比较，为数据匮乏地区提供了低成本、可扩展的城市分析解决方案。

ABSTRACT

Urban planning applications (energy audits, investment, etc.) require an understanding of built infrastructure and its environment, i.e., both low-level, physical features (amount of vegetation, building area and geometry etc.), as well as higher-level concepts such as land use classes (which encode expert understanding of socio-economic end uses). This kind of data is expensive and labor-intensive to obtain, which limits its availability (particularly in developing countries). We analyze patterns in land use in urban neighborhoods using large-scale satellite imagery data (which is available worldwide from third-party providers) and state-of-the-art computer vision techniques based on deep convolutional neural networks. For supervision, given the limited availability of standard benchmarks for remote-sensing data, we obtain ground truth land use class labels carefully sampled from open-source surveys, in particular the Urban Atlas land classification dataset of $20$ land use classes across $~300$ European cities. We use this data to train and compare deep architectures which have recently shown good performance on standard computer vision tasks (image classification and segmentation), including on geospatial data. Furthermore, we show that the deep representations extracted from satellite imagery of urban environments can be used to compare neighborhoods across several cities. We make our dataset available for other machine learning researchers to use for remote-sensing applications.

研究动机与目标

• 开发一种可扩展的、自动化的城市土地利用分类方法，利用卫星图像和深度学习技术，减少对昂贵且依赖专家的调查的依赖。
• 通过构建一个大规模、开放的14万份卫星图像样本数据集，解决标注遥感数据稀缺的问题，其地面真实土地利用标签来自Urban Atlas数据集。
• 通过从卫星图像中提取并分析深度卷积特征，实现对城市环境的跨城市比较。
• 证明CNN学习到的表征在地理上差异显著的城市区域之间具有可迁移性，支持城市规划和智慧城市应用。
• 提供公开可用的数据集和训练模型，以推动遥感、城市信息学以及城市环境中的机器学习研究。

提出的方法

• 在10个欧洲城市的224×224 RGB卫星图像大规模数据集上，训练了最先进的深度卷积神经网络（VGG-16和ResNet）。
• 以Urban Atlas数据集作为10个标准土地利用类别在300个欧洲城市中的真实标签来源，本研究从中选取了10个城市作为样本。
• 应用数据增强技术，包括随机翻转、剪切、缩放和旋转，以提高模型的泛化能力和鲁棒性。
• 采用迁移学习方法，使用ImageNet预训练权重初始化模型，并通过随机梯度下降配合Adadelta优化器在卫星图像数据上进行微调。
• 从训练好的CNN的最后一个全连接层提取深度特征，将城市环境表示为低维连续空间中的向量。
• 利用这些学习到的特征，在不同城市的街区之间执行聚类和相似性分析，实现对城市环境的视觉和结构化比较。

实验结果

研究问题

• RQ1 尽管城市之间存在视觉差异，深度卷积神经网络能否在大规模上准确分类城市土地利用？
• RQ2 从卫星图像中提取的深度特征在多大程度上能够实现对不同城市中城市街区的有意义比较？
• RQ3 模型在城市内部与城市之间的土地利用分类表现有何差异？哪些因素影响这种差异？
• RQ4 哪些土地利用类别最适宜（最不适宜）通过卫星图像实现自动化分类？原因是什么？
• RQ5 CNN学习到的表征是否能够以反映现实世界城市规划和经济社会模式的方式，量化城市环境之间的视觉相似性？

主要发现

• 尽管城市环境中相同功能类别的视觉差异显著，该方法在城市土地利用分类上仍取得了令人鼓舞的准确率。
• 模型在区分‘高’、‘中’和‘低’密度城市区域方面表现最弱，凸显了此类高层次分类的主观性和复杂性。
• 农业用地、森林和机场在不同城市间表现出强烈的视觉一致性，支持可靠分类和可量化的相似性测量。
• 绿色城市区域（如公园）在视觉上与森林和休闲设施相似，且在城市内部分类中的表现优于跨城市设置。
• 工业区在不同城市间表现出较高的相似性，表明工业区的视觉模式不具强烈地域特异性，更具跨区域可迁移性。
• 从CNN中提取的深度特征能够有效识别任意给定城市街区的‘邻居’，从而基于视觉组成实现丰富、数据驱动的城市环境比较。