[论文解读] Population Mapping in Informal Settlements with High-Resolution Satellite Imagery and Equitable Ground-Truth

Konstantin Klemmer, Godwin Yeboah+2 more|arXiv (Cornell University)|Sep 17, 2020

Impact of Light on Environment and Health参考文献 23被引用 7

一句话总结

本文提出了一种由社区驱动的、公平的真值框架，用于使用高分辨率卫星图像和本地整理的建筑级数据对非正式定居点进行人口制图。研究结果表明，在数据稀疏和领域偏移的情况下，较小的微调模型（如MobileNetV2）优于更大的预训练神经网络，凸显了标准基准在现实发展情境中的局限性。

ABSTRACT

We propose a generalizable framework for the population estimation of dense, informal settlements in low-income urban areas--so called 'slums'--using high-resolution satellite imagery. Precise population estimates are a crucial factor for efficient resource allocations by government authorities and NGO's, for instance in medical emergencies. We utilize equitable ground-truth data, which is gathered in collaboration with local communities: Through training and community mapping, the local population contributes their unique domain knowledge, while also maintaining agency over their data. This practice allows us to avoid carrying forward potential biases into the modeling pipeline, which might arise from a less rigorous ground-truthing approach. We contextualize our approach in respect to the ongoing discussion within the machine learning community, aiming to make real-world machine learning applications more inclusive, fair and accountable. Because of the resource intensive ground-truth generation process, our training data is limited. We propose a gridded population estimation model, enabling flexible and customizable spatial resolutions. We test our pipeline on three experimental site in Nigeria, utilizing pre-trained and fine-tune vision networks to overcome data sparsity. Our findings highlight the difficulties of transferring common benchmark models to real-world tasks. We discuss this and propose steps forward.

研究动机与目标

• 解决非正式定居点中准确人口估计不足的问题，该问题阻碍了有效的救灾援助和城市规划。
• 通过让本地社区参与真值数据收集，克服机器学习模型中的偏见，确保数据所有权和领域知识的整合。
• 开发一种灵活的网格化人口估算模型，可适应不同空间分辨率，适用于资源有限的城市环境。
• 研究预训练计算机视觉模型在数据稀缺条件下向现实世界非正式定居点制图任务的可迁移性。
• 通过在数据生成和模型开发中嵌入社区自主权，推进伦理且包容的机器学习实践。

提出的方法

• 收集高分辨率卫星图作为输入，用于估算尼日利亚三个非正式定居点的人口。
• 与本地社区及大学合作，通过社区制图和培训生成公平的真值数据，生成建筑级的形状和标签注释。
• 实施一种可自定义空间分辨率的网格化人口估算模型，以支持灵活且可扩展的输出。
• 在有限的、由社区整理的数据集上微调预训练视觉模型（ResNet50、MobileNetV2），以减轻过拟合并提升性能。
• 采用混合方法，结合本地领域知识与深度学习，以增强在数据稀缺环境下的模型泛化能力。
• 使用建筑级验证数据评估模型性能，比较不同模型架构和微调策略。

实验结果

研究问题

• RQ1 如何通过公平的真值数据收集提升非正式定居点人口估算的准确性和公平性？
• RQ2 在训练数据有限的情况下，预训练计算机视觉模型在现实世界非正式定居点制图任务中的泛化能力如何？
• RQ3 为何在低数据环境下，如MobileNetV2这样的小型模型会优于ResNet50等大型模型？
• RQ4 在边缘化城市社区部署机器学习进行人口制图时，会面临哪些伦理与方法论挑战？
• RQ5 社区参与数据收集如何促成发展语境下更具代表性与问责性的机器学习系统？

主要发现

• 在非正式定居点的人口估算中，较小的微调模型（如MobileNetV2）优于较大的预训练模型（如ResNet50），表明标准基准在该场景下缺乏可迁移性。
• 使用社区生成的公平真值数据提升了数据质量，并减少了因外部或非自愿数据收集可能引发的偏见。
• 本地知识（如屋顶形状和空间模式）为图像分类提供了有价值的线索，但利用有限数据自动化此类区分较为困难。
• 现有的计算机视觉基准在低收入城市地区的真实应用中相关性有限，尤其是在数据稀缺且存在领域偏移的情况下。
• 本研究揭示了伦理数据实践中的关键缺口，强调了在发展领域的机器学习中，必须重视社区自主权和参与式数据整理。
• 尽管数据质量表现良好，但模型性能仍受数据稀缺的制约，凸显了在发展领域机器学习中建立领域特定基准和方法论的迫切需求。