[论文解读] Quantitative Comparison of Open-Source Data for Fine-Grain Mapping of Land Use

Xueqing Deng, Shawn Newsam|arXiv (Cornell University)|Nov 9, 2017

Geographic Information Systems Studies参考文献 14被引用 4

一句话总结

本研究使用一种新颖的159类土地利用分类体系，评估了四种开源数据源——Google Places、Bing Maps、Yellow Pages和OpenStreetMap——在旧金山进行细粒度土地利用制图的适用性。尽管某些情况下精度较高，但结果显示各数据源之间的一致性有限，且与权威数据相比准确率较低，表明仅靠这些数据集不足以实现可靠的细粒度土地利用分类。

ABSTRACT

This paper performs a quantitative comparison of open-source data available on the Internet for the fine-grain mapping of land use. Three points of interest (POI) data sources--Google Places, Bing Maps, and the Yellow Pages--and one volunteered geographic information data source--Open Street Map (OSM)--are compared with each other at the parcel level for San Francisco with respect to a proposed fine-grain land-use taxonomy. The sources are also compared to coarse-grain authoritative data which we consider to be the ground truth. Results show limited agreement among the data sources as well as limited accuracy with respect to the authoritative data even at coarse class granularity. We conclude that POI and OSM data do not appear to be sufficient alone for fine-grain land-use mapping.

研究动机与目标

• 评估开源数据源在地块层面进行细粒度土地利用制图的适用性。
• 基于美国规划协会的标准，建立一种与土地覆盖不同的新型详细土地利用分类体系（159个类别）。
• 将三种POI数据源（Google Places、Bing Maps、Yellow Pages）与一种VGI数据源（OpenStreetMap）进行相互比较，并与权威数据进行对比。
• 量化现有开源数据在实现准确、细粒度土地利用分类方面的局限性。
• 识别当前开源数据源在数据覆盖范围和分类体系对齐方面存在的空白，这些因素阻碍了基于开源数据的可靠土地利用制图。

提出的方法

• 基于美国规划协会的基于土地的分类标准（LBCS），开发了一种分层的、细粒度的土地利用分类体系，包含9个一级类别、47个二级类别和159个三级类别。
• 从四个数据源获取并地理编码了旧金山的地块级土地利用数据：Google Places、Bing Maps、Yellow Pages和OpenStreetMap。
• 将自定义的LBCS分类体系与DataSF提供的粗粒度权威土地利用数据对齐，以支持对比评估。
• 应用精确率和召回率指标，评估每个数据源在粗粒度和细粒度水平下相对于权威数据集的准确性。
• 计算交并比（IoU），以衡量在不同分类体系层级下，各数据源在地块层面的一致性。
• 通过定量指标（精确率、召回率、F1分数）和视觉检查相结合的方式，开展对比分析，识别分类标签和分类体系对齐方面的差异。

实验结果

研究问题

• RQ1 在地块层面进行细粒度土地利用分类时，四种开源数据源（Google Places、Bing Maps、Yellow Pages、OpenStreetMap）在彼此之间的一致性如何？
• RQ2 与粗粒度权威土地利用数据集相比，这些开源数据源在多大程度上实现了可接受的精确率和召回率？
• RQ3 分类体系差异和数据粒度不一致如何影响使用开源数据源进行土地利用制图的可靠性？
• RQ4 POI和VGI数据在支持城市美国语境下的细粒度土地利用制图方面，其主要局限性是什么？
• RQ5 是否可以通过有效整合开源数据源来提高土地利用分类的准确性，还是需要额外的数据源？

主要发现

• Google Places和Yellow Pages在数据源之间表现出最高的一致性，对于一级分类中的2000类（一般销售或服务），一致性最高达到49.33%。
• Bing Maps在CIE类别上的召回率极低（0.01），精确率也较低（0.56），主要因其数据集规模过小。
• OSM在RESIDENT类别上的精确率为0.81，召回率为0.16，表明其具有高精确率但覆盖范围差，反映出其更关注住宅区域而非功能型POI。
• 对于VISITOR类别，OSM的精确率高达0.89（53个标记地块中正确识别了47个），但召回率仅为0.09，表明其能正确识别自身标记的大多数案例，但遗漏了大量真实情况。
• OSM与POI数据源之间的总体一致性较低，OSM将大多数1000类地块标记为私人家庭（1100类），而POI数据源则将其标记为酒店或住宿设施（1300类），凸显了根本性的分类体系不匹配问题。
• 没有任何一个数据源在粗粒度层级的任一类别上同时达到精确率和召回率高于0.5，表明即使在宽泛的土地利用类别上，其可靠性也有限。