[论文解读] Slum Segmentation and Change Detection : A Deep Learning Approach

Shishira R Maiya, Sudharshan Chandra Babu|arXiv (Cornell University)|Nov 19, 2018

Urban and Rural Development Challenges参考文献 12被引用 21

一句话总结

本文提出一种基于掩码R-CNN与迁移学习的深度学习方法，用于卫星影像中的实例级贫民窟分割与变化检测。在100米尺度下，其平均精度（AP）最高达到80.2，展现出在识别个体贫民窟及其随时间增长或减少方面的强大性能。

ABSTRACT

More than one billion people live in slums around the world. In some developing countries, slum residents make up for more than half of the population and lack reliable sanitation services, clean water, electricity, other basic services. Thus, slum rehabilitation and improvement is an important global challenge, and a significant amount of effort and resources have been put into this endeavor. These initiatives rely heavily on slum mapping and monitoring, and it is essential to have robust and efficient methods for mapping and monitoring existing slum settlements. In this work, we introduce an approach to segment and map individual slums from satellite imagery, leveraging regional convolutional neural networks for instance segmentation using transfer learning. In addition, we also introduce a method to perform change detection and monitor slum change over time. We show that our approach effectively learns slum shape and appearance, and demonstrates strong quantitative results, resulting in a maximum AP of 80.0.

研究动机与目标

• 利用卫星影像解决在城市非正式住区中对个体贫民窟进行精确制图的挑战。
• 克服先前方法将所有贫民窟实例视为单一类别的局限，支持有针对性的重建规划。
• 开发一种可扩展且稳健的方法，利用多时相卫星数据监测贫民窟随时间的扩张或收缩。
• 创建一个自定义的高分辨率数据集，包含孟买贫民窟的多边形掩码，以支持训练与评估。
• 展示迁移学习在降低低资源环境下实例分割任务对大规模标注数据依赖方面的有效性。

提出的方法

• 采用以ResNet-101和特征金字塔网络为骨干网络的掩码R-CNN，对卫星影像中的贫民窟进行实例分割。
• 使用结合分类损失、边界框回归损失和掩码分割损失的多任务损失函数进行模型训练。
• 通过在孟买610张卫星影像（513张训练，97张测试）的自定义数据集上微调COCO预训练的掩码R-CNN，应用迁移学习。
• 通过水平/垂直翻转、旋转、平移和颜色抖动等数据增强技术，提升模型泛化能力。
• 实施两阶段变化检测流程：使用训练好的模型在两个时间点预测贫民窟掩码，然后通过二值掩码相减计算百分比变化。
• 将图像缩放并填充至1024×1024，同时保持纵横比，并使用带有余弦衰减学习率的Adam优化器，训练128个周期。

实验结果

研究问题

• RQ1 基于深度学习的实例分割模型能否有效识别并分割高分辨率卫星影像中的个体贫民窟？
• RQ2 在不同空间尺度（100米与1000米）下，模型的分割精度表现如何变化？
• RQ3 迁移学习在多大程度上可减少贫民窟分割任务中对大规模标注数据集的需求？
• RQ4 所提出的方法能否可靠地检测并量化利用多时相卫星数据的贫民窟面积随时间的变化？
• RQ5 模型在具有复杂纹理和混合土地利用的异质性贫民窟区域中，泛化能力如何？

主要发现

• 在100米尺度测试集上，模型的平均平均精度（AP）达到80.2，表明其具备出色的实例分割性能。
• 100米尺度模型优于1000米尺度模型，其交并比（IoU）达0.86，AP为80.2，而1000米尺度下IoU为0.73，AP为38.3。
• 模型在特定贫民窟区域表现出高精度，例如在班杜普地区（100米尺度AP达95.2），表明其对复杂城市纹理具有强大的泛化能力。
• 变化检测流程成功量化出2005年至2018年某测试区域贫民窟面积增长了35.25%，经掩码相减验证。
• 模型有效捕捉了贫民窟的视觉与空间特征，包括不规则形状和混合土地利用，即使在异质性聚居区中亦表现良好。
• 迁移学习的应用使模型在有限标注数据条件下仍能实现高性能，这在相对较小的自定义数据集上表现尤为明显。