[论文解读] Using Social Media Images for Building Function Classification

Eike Jens Hoffmann, Karam Abdulahhad+1 more|arXiv (Cornell University)|Feb 15, 2022

Human Mobility and Location-Based Analysis被引用 4

一句话总结

本文提出了一种可扩展的、以内容为先的过滤流程，用于从Flickr中提取带有地理标签的地面级社交媒体图像，以构建建筑功能分类。通过利用OSM建筑轮廓和视线分析，该方法生成了一个弱监督的2800万张图像数据集，覆盖42座城市，在三分类分类任务中达到0.51的F1分数，性能主要受限于OSM标签质量，而非模型架构。

ABSTRACT

Urban land use on a building instance level is crucial geo-information for many applications, yet difficult to obtain. An intuitive approach to close this gap is predicting building functions from ground level imagery. Social media image platforms contain billions of images, with a large variety of motifs including but not limited to street perspectives. To cope with this issue this study proposes a filtering pipeline to yield high quality, ground level imagery from large social media image datasets. The pipeline ensures that all resulting images have full and valid geotags with a compass direction to relate image content and spatial objects from maps. We analyze our method on a culturally diverse social media dataset from Flickr with more than 28 million images from 42 cities around the world. The obtained dataset is then evaluated in a context of 3-classes building function classification task. The three building classes that are considered in this study are: commercial, residential, and other. Fine-tuned state-of-the-art architectures yield F1-scores of up to 0.51 on the filtered images. Our analysis shows that the performance is highly limited by the quality of the labels obtained from OpenStreetMap, as the metrics increase by 0.2 if only human validated labels are considered. Therefore, we consider these labels to be weak and publish the resulting images from our pipeline together with the buildings they are showing as a weakly labeled dataset.

研究动机与目标

• 为解决在快速发展的城市中获取建筑级别的细粒度城市土地利用数据的挑战。
• 通过利用社交媒体平台的地面视角，克服传统航拍/卫星影像的局限性。
• 开发一种可扩展的自动化过滤流程，确保社交媒体图像具有有效的地理标签和罗盘方向。
• 利用OSM标签创建大规模、弱监督的基准数据集，用于建筑功能分类。
• 评估OSM标签质量对下游分类性能的影响，并证明该数据集的实用性。

提出的方法

• 一个五步过滤流程处理社交媒体图像，仅保留具有有效地理标签、罗盘方向以及与建筑视线对齐的图像。
• 通过基于GPS坐标、焦距和EXIF元数据中罗盘朝向的视线算法，将图像与OSM建筑轮廓匹配。
• 基于余弦相似度的图像检索方法利用种子数据集识别建筑的地面视角。
• 应用目标检测以识别图像中的建筑，仅将视场中最近的建筑分配给图像。
• 该流程设计为可扩展，仅包含四个超参数，平衡运行时间和输出量。
• 标签源自OSM的建筑功能标签，由于已知的质量限制，将其视为弱监督。

实验结果

研究问题

• RQ1 能否系统性地过滤并链接具有有效地理标签和罗盘方向的社交媒体图像，以实现特定建筑的城市土地利用分类？
• RQ2 基于OSM建筑功能生成的弱监督数据集在使用深度学习进行建筑功能分类时效果如何？
• RQ3 OSM标签质量在多大程度上限制了建筑功能分类模型的性能？
• RQ4 内容为先的过滤流程能否扩展到数十亿张社交媒体图像，同时保持空间准确性？
• RQ5 在相同的分类任务中，使用人工验证标签与OSM衍生标签的性能差异如何？

主要发现

• 所提出的过滤流程成功从全球42座城市的Flickr中提取了2800万张带有有效罗盘方向和与OSM建筑空间对齐的地理标签地面级图像。
• 微调的最先进模型在三分类建筑功能分类任务（商业、住宅、其他）上使用OSM标注数据达到了0.51的F1分数。
• 当仅限于人工验证标签时，F1分数提升0.20至0.71，表明OSM标签质量是主要性能瓶颈。
• 该数据集已作为基准发布，包含来自OSM的弱标签以及由三位独立评估者验证的高质量子集。
• 本研究证实，社交媒体图像是城市土地利用分析的可行且可扩展的来源，前提是仔细管理元数据质量和标签可靠性。
• 该流程在多样化城市环境中表现出稳健性能，并支持未来扩展至多标签或细粒度分类方案。